Das Europaparlament treibt weitere konkrete Regeln für die Nutzung von KI voran und ist damit weltweit führend. Nachdem es am 14. Juni 2023 seine finale Position bekanntgegeben hat, stellt sich die Frage, welche Anforderungen zukünftig bei Nutzung von künstlicher Intelligenz gelten.
Nachdem bereits am 21. April 2021 ein erster Entwurf für eine EU-Verordnung zur Nutzung künstlicher Intelligenz (nachfolgend „AI-Act“) von der Europäischen Kommission vorgelegt wurde (siehe Artikel), hat das Europäische Parlament nun am 14.Juni 2023 seine finale Position bekanntgegeben. Als nächster Schritt steht nun der Trilog zwischen Parlament, Rat und Kommission an. Aufgrund der bevorstehenden Neuwahl des Europäischen Parlaments in etwa einem Jahr wird eine schnelle Umsetzung und nur wenige Änderungen erwartet. Unternehmen können hiernach KI nutzen, solange sie sich an die EU-Regeln halten, die einen Missbrauch verhindern sollen. Es ist ratsam, bereits jetzt zu prüfen, ob bestimmte KI-Anwendungen nach Inkrafttreten des AI-Act weiterhin verwendet werden dürfen und welche zusätzlichen Vorgaben dann ggf. einzuhalten sind. Dieser Artikel bietet einen Leitfaden für die interne Prüfung von KI-Anwendungen und kann Schritt für Schritt umgesetzt werden.
Der Geltungsbereich des AI-Act ist umfassend und erfasst eine Vielzahl von Anwendungen, bei denen die Verwendung von KI nicht offensichtlich ist. Insbesondere nach den jüngsten Änderungen des Europäischen Parlaments für Systeme der künstlichen Intelligenz (KI-Systeme) ist dies noch deutlicher geworden. Das Parlament folgt nun der Definition der OECD von 2018, nach der KI ein "maschinengestütztes System [ist], das mit unterschiedlichem Grad an Autonomie arbeitet und Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die physische oder virtuelle Umgebung beeinflussen."
Entscheidend ist, dass das System eigenständig Empfehlungen entwickelt, sodass die darauf basierenden Entscheidungen als von der KI beeinflusst zu behandeln sind. Es gibt vielfältige Beispiele für KI gemäß dieser Definition, von Kredit-Scoring-Systemen über Assistenztools für Menschen mit Sehbehinderung bis hin zu autonomem Fahren. Insbesondere bei Kredit-Scoring-Systemen ist zu erkennen, dass es ausreicht, wenn ein System aufgrund von Wahrscheinlichkeiten bestimmte Werte ausgibt. Weitere Beispiele für KI sind deshalb Anwendungen, die automatisch Texte oder Textbausteine vorschlagen, Handlungsschritte priorisieren oder Informationen zur Wahrscheinlichkeit bestimmter Ereignisse liefern. Es kann also fast jede im Geschäftsalltag eingesetzte Software, die Aufgaben im Unternehmenskontext übernimmt, unter den AI-Act fallen. Ob dies bedeutet, dass ein Unternehmen weitere Maßnahmen ergreifen muss, hängt allerdings von weiteren Faktoren ab.
Die erforderlichen Maßnahmen und Handlungsschritte für ein Unternehmen, das ein KI-System einsetzt, hängen davon ab, welches Risiko mit der jeweiligen Anwendung verbunden ist. Der AI-Act definiert hierfür vier Risikostufen, die anhand der folgenden Kriterien unterschieden werden:
Artikel 5 des AI-Act definiert Praktiken im Bereich der künstlichen Intelligenz, die ein hohes Risiko für Menschen, Sicherheit oder Grundrechte darstellen und vom Gesetzgeber als inakzeptabel erachtet werden. Das Europäische Parlament hat in dem aktuellen Entwurf Anpassungen vorgenommen, wodurch mehr KI-Systeme als im bisherigen Entwurf verboten sind. Stets verboten sind:
Der AI-Act verbietet folglich insbesondere KI-Systeme, die mit hohem Risiko für Menschen, Sicherheit oder Grundrechte verbunden sind, einschließlich Techniken zur unbewussten Beeinflussung, Ausnutzung der Schutzbedürftigkeit von Personen, algorithmischer Diskriminierung, biometrischer Identifizierung und Kategorisierung.
In Anhang III des AI-Act werden die Anwendungsbereiche von Hochrisiko-KI gemäß Artikel 6 ff. des Gesetzes definiert. Diese Liste kann gemäß Artikel 7 des AI-Act nachträglich geändert werden. Derzeit umfasst sie die Einsatzbereiche Bewerberauswahl, Bonitätsprüfung, Zugang zu Studium und Ausbildung, Bewertung von Prüfungsleistungen, Aufdeckung verbotener Verhaltensweisen bei Tests, Beurteilung von Personen im Zusammenhang mit Strafverfolgung und ähnlichen freiheitsbeschränkenden Maßnahmen, Unterstützung von Richtern und Behörden bei der Rechtsanwendung, Einflussnahme auf Wahlen und Wahlentscheidungen, Asyl- und Visaprüfung, biometrische Identifizierung über die bloße Verifizierung hinaus, Einsatz in kritischen Infrastrukturen, Zugang zu grundlegenden öffentlichen Leistungen, Einsatz in der Strafverfolgung und Empfehlungssysteme großer Online-Plattformen (VLOPS - Very Large Online Platforms).
Für die Einstufung als Hochrisiko-KI und die damit verbundenen Verpflichtungen ist es gemäß Artikel 6 Absatz 2 des AI-Act weiterhin erforderlich, dass das System ein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen darstellt. Besonderes Augenmerk sollte dabei auf die Prüfung der erheblichen Risiken für Grundrechte gelegt werden, insbesondere wenn der Einsatz von KI eine potenzielle Einschränkung der Meinungsfreiheit zur Folge hat, was eine Einstufung als Hochrisiko-KI rechtfertigen kann. In der Regel fallen KI-Anwendungen für medizinische Diagnose und Behandlung ebenfalls unter die Hochrisiko-Kategorie.
Für Unternehmen, die Hochrisiko-KI einsetzen, gelten umfangreiche Vorgaben (siehe Ziffer 3 lit a). Dazu gehören Transparenzpflichten, eine Zulassung zum europäischen Markt sowie die Implementierung eines Risiko- und Qualitätsmanagementsystems. Bei Verstößen gegen diese Vorgaben können Geldbußen von bis zu 20 Millionen Euro oder bis zu 4 % des weltweiten Jahresumsatzes verhängt werden, je nachdem, welcher Betrag höher ist.
KI-Anwendungen mit geringem Risiko unterfallen weniger strengen Vorschriften. Die konkrete Einordnung kann von verschiedenen Faktoren abhängen, wie zum Beispiel dem Potenzial für Schäden oder dem Grad der Autonomie des Systems. Betroffen sind beispielsweise Systeme, die mit natürlichen Personen interagieren, wie Chatbots oder Deepfakes.
KI-Anwendungen mit minimalem Risiko unterliegen im AI-Act kaum Beschränkungen. Dazu gehören Suchalgorithmen, Spamfilter, KI-gestützte Videospiele und Rechtschreibprogramme. Auch Unternehmenssoftware, die keine personenbezogenen Daten verarbeitet, wie beispielsweise Systeme zur Predictive Maintenance oder Industrie-Applikationen, fallen in diese Kategorie. Diese Anwendungen sind weniger invasiv und das Risiko für Menschen, Sicherheit oder Grundrechte wird als gering eingestuft.
Artikel 28b des AI-Act befasst sich mit Generativer KI, wie sie in Sprachmodellen wie ChatGPT und LaMDA zum Einsatz kommt. Diese Regelungen richten sich speziell an die Anbieter dieser Systeme und legen Transparenzpflichten, eine Registrierungspflicht sowie angemessene Schutzmaßnahmen gegen rechtswidrige Inhalte und zur Gewährleistung der Meinungsfreiheit fest. Generative KI-Systeme müssen offenlegen, wenn Inhalte von KI erzeugt wurden, und es gibt keine Open-Source-Ausnahme für diese Systeme, bei der die Anforderungen des AI-Act nur eigeschränkt gelten würden.
Es ist zu beachten, dass je nach Anwendungsbereich zusätzliche Beschränkungen für generative KI gelten können, insbesondere für den Fall, dass sie im Anwendungsbereich der Hochrisiko-KI eingesetzt wird. Es wird erwartet, dass es im Rahmen der Trilog-Verhandlungen noch weitere Änderungen in diesem Bereich geben wird, da dies das erste Mal ist, dass solche Regelungen in den AI-Act aufgenommen wurden.
Zunächst enthält Artikel 4a AI-Act Mindestanforderungen, die von allen KI-Anbietern bei der Entwicklung beachtet werden sollen und auch für KI auf höheren Risiko-Stufen gelten. Diese Anforderungen können nachgewiesen werden, indem (noch zu entwerfende) harmonisierte Normen oder technische Spezifikationen eingehalten werden. Zudem ist auch die Aufstellung eines Codes of Conduct durch die einzelnen KI-Anbieter oder deren Interessenvertretungen gemäß Artikel 69 AI-Act möglich. Demnach ist KI so zu entwickeln, dass sie in angemessener Weise durch natürliche Personen kontrolliert und beaufsichtigt wird und das Risiko von unbeabsichtigten Schäden (auch durch Cyberattacken) minimiert wird. Weiterhin sind Nutzer darüber zu informieren, dass es sich um KI handelt und darüber, welche Risiken mit der Nutzung verbunden sind. Die Ergebnisse der KI sollen rückverfolgbar und erklärbar sein (wenn nicht, soll das Haftungsrisiko aufgrund der EU Richtlinie zur KI-Haftung zunächst der Anbieter tragen). Schließlich soll KI in jedem Fall Diskriminierung vorbeugen, etwas durch Voreingenommenheit gegenüber bestimmten Gruppen (Diskriminierung von Frauen oder Menschen mit dunklerer Hautfarbe).
Auf Nutzer und Anbieter von Hochrisiko-KI kommen hingegen nach Art. 29 AI-Act noch weitere Pflichten zu. Um die hohen Bußgelder gemäß Art. 71 AI-Act zu vermeiden, müssen Nutzer von Hochrisiko KI:
Anbieter von Hochrisiko-KI und Unternehmen, die diese im eigenen Namen in Verkehr gebracht oder in Betrieb genommen haben, müssen zusätzlich:
Der aktuelle Entwurf zum AI-Act dürfte in der nunmehr vom Europäischen Parlament abgestimmten Version größtenteils inhaltlich der finalen Fassung entsprechen. Insoweit lohnt es sich, auf Grundlage dieses Dokumentes nun schon einmal die unternehmensinterne Prüfung anzuschieben. Hierbei kann die nachfolgende Checkliste Unterstützung leisten. Im Rahmen dieser Prüfung sollten auch die weiteren, aktuellen Gesetzesinitiativen der EU-Kommission zum EU-Digitalrecht berücksichtigt werden, etwa der Digital Services Act oder die neuen Anforderungen zur Cybersecurity aus der neuen DORA-Verordnung sowie dem anstehenden Cyber Resilience Act (siehe Artikel).
Dr. Hans Markus Wulf ist Partner der renommierten Kanzlei Heuking Kühn Lüer Wojtek und dort auf die Bereiche Informationstechnologie (IT-Recht), Datenschutzrecht, Open Source, Cyber Security und Künstliche Intelligenz spezialisiert. 2023 wurde er vom Handelsblatt als einer der besten Anwälte in den Bereichen IT-Recht und Datenschutzrecht ausgezeichnet.