Gesetz über künstliche Intelligenz: Neue Regeln beschlossen

Rund drei Jahre nach der Veröffentlichung eines Vorschlags für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz haben die 27 EU-Mitgliedsstaaten am 13.03.2024 nach langen Abstimmungen den finalen Vorschlag eines Gesetzes über künstliche Intelligenz, den sogenannten Artificial Intelligence Act (2021/0106[COD]) – kurz: AI Act – gebilligt.

Der Einsatz künstlicher Intelligenz ist auf dem Vormarsch und in vielen Bereichen schon gar nicht mehr wegzudenken. Viele Unternehmen fragen sich nun, ob der AI Act auch für sie bzw. die von ihnen verwendeten KI-Systeme gilt und wenn ja, welche Verpflichtungen damit konkret auf sie zukommen. Wir geben einen ersten Überblick:

Was versteht man unter einem „System der künstlichen Intelligenz“?

Der AI Act regelt das Inverkehrbringen, die Inbetriebnahme und die Verwendung von „Systemen der künstlichen Intelligenz“ oder kurz „KI-Systemen“. Um daher in seinen Anwendungsbereich zu fallen, muss das eingesetzte System unter diesen in der Verordnung weit gefassten Begriff fallen. Ein KI-System meint demnach ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie betrieben werden kann, das nach der Einführung Anpassungsfähigkeit zeigen kann und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können.

Von dieser Definition umfasst sind nicht nur Software-Anwendungen wie Bildanalysesoftware, Sprach- und Gesichtserkennungssysteme, Spamfilter und Chatbots, sondern auch „eingebettete“ KI, wie in der Medizin verwendete Roboter oder autonome Fahrzeuge.

Wesentlichstes Unterscheidungsmerkmal zu einfacher, „traditioneller“ Software ist, dass KI-Systeme in der Lage sind zu lernen, sich dynamisch an neue Situationen anzupassen und durch Analyse großer Datenmengen komplexe Entscheidungen zu treffen. Dagegen basiert herkömmliche Software statisch auf den bei ihrer Programmierung festgelegten Anweisungen, durch welche sie stets die gleichen Funktionen ausführt und insofern vorhersehbaren Output liefert.

Für wen gelten die Regeln des AI Act?

Vom Anwendungsbereich des AI Act sind praktisch alle Unternehmen in der Wertschöpfungskette erfasst, darunter vor allem Anbieter (d.h. Entwickler:innen), Importeure, Händler:innen und Betreiber:innen (d.h. Nutzer:innen) von KI-Systemen in der EU. Hervorzuheben dabei ist, dass Nutzer den Vorschriften des AI Act nicht nur dann unterliegen, wenn sie ihren Sitz in der EU haben, sondern auch, wenn das vom KI-System hervorgebrachte Ergebnis in der EU verwendet wird. Damit findet der AI Act auch auf Marktteilnehmer aus Drittstaaten Anwendung.

Vom Anwendungsbereich des AI Act gibt es aber auch Ausnahmen. Generell gilt er nicht für diejenigen Bereiche, die nicht unter das EU-Recht fallen, wie etwa nationale Sicherheit. Auch findet er keine Anwendung auf KI-Systeme, die ausschließlich für militärische Zwecke verwendet werden, oder deren alleiniger Zweck wissenschaftliche Forschung und Entwicklung darstellt, oder die unter freien und quelloffenen Lizenzen veröffentlicht werden („Open Source KI“, sofern sie nicht als Hochrisiko-KI-System oder verbotene KI-Praktik in Verkehr gebracht oder in Betrieb genommen werden). Auch natürliche Personen, die das KI-System im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwenden, sind ausgenommen; folglich sind etwa bei der privaten Nutzung von KI-Systemen wie ChatGPT keine besonderen Vorkehrungen zu treffen.

Gelten für alle KI-Systeme die gleichen Regeln unter dem AI Act?

Der AI Act folgt einem risikobasierten Ansatz. Je höher die potenziellen Gefahren sind, die mit einem KI-System einhergehen, desto mehr Anforderungen müssen erfüllt werden. Vor diesem Hintergrund werden KI-Systeme künftig in vier Risikogruppen eingeteilt: unannehmbares Risiko (verbotene KI-Praktiken), hohes Risiko (Hochrisiko-KI-Systeme), begrenztes Risiko (KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind), und minimales und/oder kein Risiko (alle anderen KI-Systeme, die nicht in den Anwendungsbereich des AI Act fallen). Je nachdem welche Risikokategorie erfüllt wird, kommen bestimmte Regeln zur Anwendung.

Darüber hinaus enthält der AI Act spezifische Regelungen für KI-Modelle mit allgemeinem Verwendungszweck.

Welche KI-Systeme sind verboten?

Gewisse KI-Praktiken greifen besonders intensiv in Grundrechte ein, sodass sie mit einem unannehmbaren Risiko verbunden sind. Diese werden daher strikt verboten. Dazu zählen:

KI-Systeme zum Zweck der kognitiven Verhaltensmanipulation;
KI-Systeme, die die Schwächen einzelner Personen ausnützen (z.B. deren Alter, Behinderung, soziale oder wirtschaftliche Situation);
biometrische Kategorisierungssysteme, die natürliche Personen auf der Grundlage ihrer biometrischen Daten individuell kategorisieren, um daraus sensible Daten zu ermitteln (z.B. sexuelle Orientierung oder Religion);
KI-Systeme für Social Scoring;
biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen (hier sind Ausnahmen zu Strafverfolgungszwecken unter engen Voraussetzungen möglich);
KI-Systeme zur Strafrisikobewertung natürlicher Personen z.B. rein auf Basis von Persönlichkeitsmerkmalen;
KI-Systeme, die Datenbanken für die Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern; sowie
KI-Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen.

Was sind Hochrisiko-KI-Systeme?

KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen, gelten als hochriskant. Die Einordnung kann im Einzelfall komplex sein, da zur Klassifikation von Hochrisiko-KI-Systemen ein dynamisches System vorgesehen ist.

Darunter fallen einerseits KI-Systeme, die als Sicherheitskomponenten für Produkte verwendet werden, die bestimmten Produktsicherheitsvorschriften der EU unterliegen (z.B. in Fahrzeugen oder medizinischen Geräten, vgl. Anhang II), oder selbst ein solches Produkt sind. Andererseits umfasst dies bestimmte, in Anhang III zum AI Act aufgelistete Anwendungsbereiche, die sich vor allem auf die Grundrechte auswirken. Dazu gehören:

biometrische Identifizierung und Kategorisierung von Personen;
kritische Infrastrukturen (z.B. im Straßenverkehr oder in der Wasser-, Gas-, Wärme- und Stromversorgung);
allgemeine und berufliche Bildung (z.B. bei der Entscheidungsfindung über den Zugang zu Bildungseinrichtungen oder für Benotungen);
Beschäftigung, Personalmanagement und Zugang zur Selbständigkeit (wie etwa bei Bewertung/Auswahl bei Einstellungen, Entscheidung über Beförderungen oder Kündigungen);
Zugang zu und Inanspruchnahme von wesentlichen privaten Dienstleistungen und öffentlichen Diensten/Leistungen (z.B. im Hinblick auf die Erlangung/den Entzug von Beihilfen, Kreditwürdigkeitsprüfungen, bei Entsendung/Priorisierung des Einsatzes von Not- und Rettungsdiensten, zur Risikobewertung und Preisgestaltung bei Lebens- und Krankenversicherungen);
Strafverfolgung (z.B. zur Einschätzung des Gefährdungspotentials von Straftäter:innen, beim Einsatz von Lügendetektoren oder zur Bewertung der Zuverlässigkeit von Beweismitteln);
Migration, Asyl und Grenzkontrolle (z.B. beim Einsatz von Lügendetektoren oder zur Prüfung der Berechtigung von Asyl- und Visumanträgen sowie Aufenthaltstiteln); oder
Rechtspflege und demokratische Prozesse (etwa bei der Ermittlung, Anwendung und Auslegung von Rechtsvorschriften).

Genannte KI-Systeme gelten trotz ihrer Klassifikation in Anhang III dann aber nicht als hochriskant, wenn sie kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen darstellen und auch keinen wesentlichen Einfluss auf das Ergebnis der Entscheidungsfindung haben. Ob das der Fall ist, können Anbieter von KI-Systemen selbst beurteilen und haben dies auch entsprechend zu dokumentieren. Für Nutzer:innen birgt das ein potentielles Risiko in sich, zumal sie Gefahr laufen, bei einer Fehleinschätzung des Anbieters ein Hoch-Risiko-KI-System zu verwenden, ohne die entsprechenden Pflichten einzuhalten.

Welche Pflichten bestehen bei einem Hochrisiko-KI-System?

Soweit Unternehmen ein „fremdes“ Hochrisiko-KI-System als Anwender nutzen, haben sie vor allem folgende Verpflichtungen zu erfüllen:

Treffen von angemessenen technischen und organisatorischen Maßnahmen (TOMs), um sicherzustellen, dass das KI-System in Übereinstimmung mit der Gebrauchsanweisung verwendet wird;
Sicherstellung von menschlicher Aufsicht durch natürliche Personen, die über die dafür erforderliche Kompetenz, Ausbildung und Autorität sowie über die notwendige Unterstützung verfügen;
Sicherstellung, dass Eingabedaten im Hinblick auf den beabsichtigten Zweck des KI-Systems relevant und ausreichend repräsentativ sind;
fortlaufende Überwachung nach Maßgabe der Gebrauchsanweisung und Sicherstellung, dass die Verwendung des KI-Systems unterbrochen wird, wenn Grund zur Annahme besteht, dass die Anwendung zu einem unverhältnismäßigen Risiko für die Gesundheit, die Sicherheit oder den Schutz der Grundrechte von Personen führt;
Meldepflichten, wenn die Verwendung des KI-Systems ausgesetzt wird, sowie bei schwerwiegenden Vorfällen;
Dokumentationspflichten, insbesondere Speicherung von automatisch erzeugten Protokollen für mindestens sechs Monate; sowie
Vorabinformation von Arbeitnehmer:innen und Arbeitnehmervertreter:innen (z.B. Betriebsrat), wenn am Arbeitsplatz ein Hochrisiko-KI-System eingesetzt sind.

Wird ein Hochrisiko-KI-System von staatlichen Einrichtungen oder privaten Betreiber:innen, die öffentliche Dienstleistungen erbringen, eingesetzt, ist eine grundrechtliche Folgenabschätzung durchzuführen.

Das Gros der vielen, im AI Act normierten Verpflichtungen in Bezug auf Hochrisiko-KI-Systeme trifft jedoch Anbieter:innen von Hochrisiko-KI-Systemen, sohin jene, die das KI-System entwickelt und unter eigenem Namen oder eigener Marke in Verkehr gebracht oder in Betrieb genommen haben. Der diesbezügliche Pflichtenkatalog findet sich in Artikel 16 AI Act. Daneben sind in Bezug auf Hochrisiko-KI-Systeme noch zahlreiche weitere Verpflichtungen im AI Act festgelegt, die auch andere Akteure, wie etwa Importeur:innen und Händler:innen, betreffen.

Was gilt, wenn von einem KI-System bloß ein begrenztes Risiko ausgeht?

Der AI Act sieht im Hinblick auf bestimmte KI-Systeme, deren Risiko als begrenzt gilt, „lediglich“ Transparenzpflichten vor. So etwa müssen KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind (z.B. Chatbots), so gestaltet sein, dass den Personen mitgeteilt wird, dass sie mit einem KI-System interagieren, es sei denn, dies ist aufgrund der Umstände und des Nutzungskontexts offensichtlich. Von größter praktischer Relevanz ist, dass eine Offenlegung erfolgen muss, wenn Inhalte durch ein KI-System künstlich erzeugt oder verändert wurden (sog. „Deep Fakes“). Dies erfasst Bilder, Videos und Audioinhalte gleichermaßen wie auch Texte, die zu öffentlichen Informationszwecken veröffentlicht werden.

Was bedeutet ein minimales und/oder kein Risiko?

KI-Systeme mit minimalem oder keinem Risiko, wie etwa Spamfilter oder Videospiele, fallen nicht in den Anwendungsbereich des AI Act.

Was sind „KI-Modelle mit allgemeinem Verwendungszweck“?

Bei den Verhandlungen über den AI Act war der Umgang mit KI-Modellen mit allgemeinem Verwendungszweck – sogenannten General Purpose AI Models (kurz: GPAIs) – besonders umstritten und sind diesbezügliche Regelungen erst im letzten Entwurf des AI Act hinzugekommen. Bei GPAIs handelt es sich um KI-Modelle, die (i) eine erhebliche allgemeine Verwendbarkeit aufweisen, (ii) in der Lage sind, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen und (iii) in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden können. Bestes Beispiel hierfür sind generative KI-Modelle wie GPT-4 des US-Unternehmens OpenAI, welches in ChatGPT enthalten ist.

Für GPAIs sieht der AI Act ausschließlich zusätzliche Verpflichtungen für Anbieter von derartigen KI-Modellen vor, etwa die Erstellung einer technischen Dokumentation sowie von Informationen und Unterlagen für Anbieter von KI-Systemen, die beabsichtigen, das GPAI in ihr KI-System zu integrieren. Daneben bestehen zusätzliche Anforderungen an GPAIs, die inhärent systemische Risiken bergen. Ein solches Systemrisiko liegt insbesondere vor, wenn GPAIs über eine hohe Leistungsfähigkeit (mehr als 10^25 FLOPS) verfügen. In diesem Fall müssen Anbieter z.B. zur Erkennung und Minderung von Systemrisiken Modellevaluierungen durchführen, Meldeverpflichtungen bei schwerwiegenden Vorfällen entsprechen und ein angemessenes Maß an Cybersicherheit gewährleisten.

Für Anwender:innen von GPAIs bestehen nach dem AI Act keine Verpflichtungen. Vorsicht ist für Nutzer:innen aber dann geboten, wenn ein GPAI z.B. in einem Bereich des Anhangs III eingesetzt wird, weil dann wiederum die Regelungen über Hochrisiko-KI-Systeme gelten.

Welche Sanktionen drohen bei Verstößen?

Der AI Act sieht bei Verstößen gegen die normierten Verpflichtungen hohe Geldstrafen vor. Bei Verstößen gegen verbotene KI-Systeme droht eine Geldstrafe von bis zu 35 Mio. Euro oder von bis zu 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist. Verstöße gegen andere Verpflichtungen des AI Act, wie etwa die mit einem Hochrisiko-KI-System auferlegten Verpflichtungen, werden mit Geldstrafen von bis zu 15 Mio. Euro oder von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres sanktioniert, je nachdem, welcher Betrag höher ist. Wird von einem Unternehmen eine unrichtige, unvollständige oder irreführende Information erteilt, kann dies mit bis zu 7,5 Mio. Euro oder bis zu 1,5 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist, geahndet werden.

Ab wann gelten die neuen Regeln des AI Act?

Der AI Act tritt am zwanzigsten Tag nach seiner Veröffentlichung im EU-Amtsblatt in Kraft, was Gerüchten nach für die Zeit zwischen Mai und Juli 2024 erwartet wird. Seine Vorschriften sollen dann überwiegend zwei Jahre nach Inkrafttreten Anwendung finden, manche Vorschriften auch schon früher. So etwa sollen die verbotenen KI-Praktiken bereits sechs Monate und die Regelungen zu GPAIs bereits zwölf Monate nach Inkrafttreten anwendbar sein. Dagegen sollen die Klassifizierungsregeln für Hochrisiko-KI-Systeme und die entsprechenden Verpflichtungen erst drei Jahren später gelten.

Was gilt es jetzt zu tun?

Unternehmen sind gut beraten, sich ehest möglich mit den für sie einschlägigen Vorschriften des AI Act vertraut zu machen und die für sie relevanten Pflichten zu identifizieren. Als Nutzer:innen von fremden KI-Systemen wird der erste Schritt daher regelmäßig eine Bestandsaufnahme der eingesetzten oder geplanten KI-Systeme sein. Im Weiteren sollte man ermitteln, in welche Risikoklasse die verwendeten oder geplanten KI-Systeme fallen und welche Anforderungen für ihre ordnungsgemäße Nutzung bestehen. Auch wenn es bis zur Anwendbarkeit der Vorschriften noch lange hin zu sein scheint, sollte mit der Umsetzung so früh wie möglich begonnen werden, zumal bei Verstößen erhebliche Strafen drohen.

Gerne stehen Ihnen unsere Expertin Birgit Meisinger sowie unsere Branchen-Expert:innen aus dem Bereich Technologie & Digitalisierung für weitere Fragen zu diesem Thema zur Verfügung.

Disclaimer

Dieser Beitrag stellt lediglich eine allgemeine Information dar und ersetzt keine Rechtsberatung. Die Haslinger / Nagele Rechtsanwälte GmbH übernimmt keinerlei Haftung für Inhalt und Richtigkeit dieses Beitrages.

3. April 2024