AG-Blog | Innovation und Grundrechte im Fokus: Europäische Kommission setzt erste KI-Gesetzgebung in Gang
Am Vortag verabschiedet, bei der AG Innovativer Staat bereits diskutiert: Welche Auswirkungen wird der „AI Act“ auf den öffentlichen Sektor haben? Welche Verpflichtungen kommen auf Behörden und Bundesregierung zu? Und wie kann die öffentliche Verwaltung künstliche Intelligenz verordnungskonform einsetzen? Darum ging es bei der ersten Sitzung im Jahr 2024.
Berlin/virtuell. Angesichts der zunehmenden Entwicklung und des breiteren Einsatzes von Künstlicher Intelligenz (KI) hat die Europäische Kommission mit dem AI Act die weltweit erste KI-Gesetzgebung auf den Weg gebracht, um in Europa sowohl Chancen und Wettbewerbsfähigkeit zu fördern als auch Risiken zu begrenzen. Mit der Aktualität des Themas ließ sich die erste Sitzung der AG Innovativer Staat im Jahr 2024, die in Kooperation mit NExT durchgeführt wurde, also nicht überbieten – denn genau diesen AI Act wollte sie aus Verwaltungsperspektive einordnen. Neben der Bewertung des angemessenen Maßes an Regulierung und Innovationsförderung wurden auch Fragen zur praktischen Umsetzung und ethischen Dimensionen erörtert.
Bürger*innenperspektiven zum Einsatz von Künstlicher Intelligenz in der Verwaltung
Lena-Sophie Müller, Geschäftsführerin der Initiative D21, teilte zunächst Gedanken und Zahlen aus dem eGovernment MONITOR 2023 zum Einsatz von KI in der Verwaltung. Grundsätzlich sei die Mehrheit der Bürger*innen dem Einsatz von KI gegenüber positiv eingestellt – solange grundlegende Entscheidungen weiterhin von Menschen getroffen werden. Außerdem bestehe eine positive Erwartungshaltung bei den Bürger*innen, da sie sich vom KI-Einsatz in der Verwaltung vor allem eine Effizienzsteigerung und die Reduktion von Bearbeitungsfehlern erhoffen.
Deshalb ist genau JETZT ein gutes Momentum, um Neues in der Verwaltung zu implementieren – die Rahmenbedingungen sind geschaffen.
Es sei daher wichtig, aktiv Wissen an Verwaltungsmitarbeitende zu vermitteln, sodass die aktuelle Motivation genutzt werden könne, um den Staat leistungsfähiger zu machen.
Der AI Act der Europäischen Kommission im Überblick: Grundrechte und Innovation
Der KI-Verordnungsentwurf der Europäischen Kommission setzt einen Rahmen, welcher gleichzeitig Chancen fördert und Risiken eingrenzt. Genauer stellte Irina Orssich, Head of Sector AI Policy im DG Connect der Europäischen Kommission, den am Vortag beschlossenen AI Act vor:
Der AI Act bewahrt und schützt die Grundrechte der EU-Bürger*innen im Kontext von KI. Dabei legt er en besonderes Augenmerk auf Ethik und Rechtsfragen, ohne die Bedeutung von Wettbewerbsfähigkeit und Innovation zu vernachlässigen.
Die Europäische Kommission habe solch eine maßgeschneiderte KI-Verordnung für notwendig gehalten, da KI sehr spezifische Merkmale habe, welche bisherige Verordnungen nicht transparent genug machen würden, so Orssich. Im Wesentlichen orientiere sich der neue AI Act an Produktsicherheitsvorschriften, die auf dem Europäischen Markt bereits gelten. Hinzu komme ein risikobasierter Ansatz, welcher KI-Systeme anhand des Risikos bei ihrer Anwendung klassifiziere. Die verschiedenen Stufen seien dabei:
- unannehmbares Risiko
- hohes Risiko
- Transparenz Risiko
- kein Risiko
Ungefähr 80 Prozent der KI-Systeme benötigten nach dem AI Act keine Regulierung, da sie kein Risiko darstellen. Ein unannehmbares Risiko gehe von solchen KI-Systemen aus, die zum Social Scoring oder emotionales Monitoring betreiben würden – dies sei nicht vereinbar mit den Grundrechten und Werten der EU und werde dementsprechend verboten. Zu den Hochrisiko-Systemen würden zum Beispiel Systeme in Bereichen wie kritischer Infrastruktur oder medizinische Produkte gehören, deren Einsatz ein Risiko für das Leben der Bürger*innen darstellen könne. Aber auch Verwaltungsanwendungen, welche zum Beispiel über Sozialzuschüsse entscheiden können, würden in diese Kategorie fallen. Diese KI-Systeme seien zwar zulässig, müssten jedoch strenge Verpflichtungen erfüllen. KI-Systeme, welche unter das Transparenz-Risiko fallen, müssten lediglich Informations- oder Transparenzpflichten einhalten und dementsprechend ihre Inhalte zum Beispiel als KI-generiert kennzeichnen.
Insgesamt habe man beim AI Act darauf geachtet, dass er schlank gehalten werde, weshalb die festgelegten Regulierungen komplementär zu bestehenden Gesetzen und Verordnungen (wie zum Beispiel der Datenschutzgrundverordnung) seien. Außerdem habe man darauf geachtet, dass der AI-Act besonders innovationsfreundlich sei und ausführliche Hilfestellungen bereitgestellt werden würden.
Der AI Act als Grundlage: Bewertung und Ausblick aus Bundesperspektive
Nun, da der AI Act einen europaweiten Rahmen gesetzt hat, steht in Deutschland die nationale Implementierung an. Evelyn Grass, Referatsleiterin u. a. für das Thema „Künstliche Intelligenz“ im Bundesministerium für Wirtschaft und Klimaschutz, ordnete den AI Act dafür aus deutscher Perspektive ein. Die Bundesregierung sei sich der riesigen Chancen, welche KI biete, bewusst. Man erkenne KI als einen entscheidenden Faktor für die Wettbewerbsfähigkeit der deutschen Wirtschaft, weshalb man dieses Potential in Zukunft weiter ausschöpfen wolle, so Grass. Dazu müsse KI in die Breite getragen werden – und das gelinge dann, wenn es einen Rechtsrahmen gebe, der Vertrauen und Akzeptanz fördert.
Vor diesem Hintergrund sei das Verhandlungsergebnis des AI Acts, das momentane Fundament, ein gutes Ergebnis, so Grass‘ Einordnung. Der AI-Act biete Rechtssicherheit und sei zukunftsfähig, weil auch ein Fokus auf Wettbewerbsfähigkeit und Innovationsförderung gelegt worden sei: Ausgestaltung, Erfüllbarkeit und Dichte von Pflichten, die auf Unternehmen in der EU zukommen, seien annehmbar.
Auf nationaler Ebene brauche es nun zur Umsetzung des AI Acts ein Durchführungsgesetz, und hinsichtlich der Governance müssten zuständige Behörden benannt werden:
Es ist von entscheidender Bedeutung, den AI Act in Deutschland einheitlich umzusetzen, um das Innovationspotenzial des Landes voll auszuschöpfen. Die Verordnung bietet ausreichend Flexibilität, um ressourceneffiziente und schlanke Implementierungen zu ermöglichen, die sowohl die öffentlichen Haushalte als auch eine zielgerichtete Umsetzung berücksichtigen.
Grass betonte außerdem, dass KI-Expertise in der Breite der Verwaltung eine Herausforderung darstelle – in ihren Augen ein weiteres Argument für eine Zentralisierung.
Den anschließenden Austausch mit den Teilnehmenden der AG Innovativer Staat hielt Grass für „sehr wertvoll in Bezug auf relevante Faktoren in der Ausgestaltung der Governance des AI Acts“. Vor dem Hintergrund der Erfahrung mit der Datenschutz-Grundverordnung sprachen sich dabei einige AG-Mitglieder gegen zu viel Regulierung und zu wenig Einheitlichkeit aus. Zu wurde betont, dass Best Practices, Pilotprojekte sowie eine gute Beratung und Unterstützung bei der Umsetzung und Implementierung von KI in der Verwaltung wichtig wären, weshalb genug Ressourcen bereitgestellt werden müssten.
Verantwortungsvoller Einsatz von KI in der öffentlichen Verwaltung: die ethische Perspektive
Zuletzt folgte mit dem Impuls von Prof. Dr. Alena Buyx, Vorsitzende des Deutschen Ethikrats, der Blick auf die ethische Dimension beim Einsatz von KI im öffentlichen Sektor. KI habe bereits seit einer Weile eine neue Dringlichkeit erreicht und finde nun auch in der breiten öffentlichen Diskussion statt, weshalb der Deutsche Ethikrat bereits vor einem Jahr die Stellungnahme Mensch Maschine veröffentlicht habe.
Ihr sei wichtig, aufzuklären, dass KI unsere menschliche Intelligenz nicht überholen werde, so Buyx. Künstlicher Intelligenz würden viele wesentliche Elemente fehlen, deren Simulation scheitere. Zwar sei KI uns Menschen im kognitiven Bereich mittlerweile überlegen, jedoch fehle ihr im Gegensatz zur menschlichen Intelligenz das Relationale, Soziale, Emotionale und Historische, das für verantwortungsvolle Entscheidungskontexte relevant sei. Dieses lasse sich auf der kognitiv-computationalen Ebene nicht abbilden:
Künstlicher Intelligenz fehlt die moralische Relevanz, um urteilsfähig zu sein oder im ethischen Sinne Verantwortung zu tragen.
Der AI Act sei daher eine sinnvolle Bremse. Der Einsatz von KI solle die menschliche Entfaltung, Autor*innenschaft und Handlungsmöglichkeiten erweitern statt sie zu vermindern, argumentierte Buyx.
In Bezug auf die öffentliche Verwaltung gebe es eine besondere Fallhöhe, da sie mit wichtigen Entscheidungskontexten erhebliche Effekte auf das Leben einzelner Menschen sowie Gruppen haben könne. Deshalb sei Sorgfalt bei all den erweiterten Handlungsoptionen durch KI (wie zum Beispiel Monitoring-Aufgaben oder effizientere Administration) besonders wichtig. Gerade darin erkenne sie aber auch die Chancen von KI: in der Abnahme von langweiliger Routine-Arbeit – nicht jedoch bei Aufgaben, die Urteilskraft benötigen. Es bestehe immer die Gefahr des Automation Bias, der dazu führe, dass man der KI wegen ihrer vermeintlichen Neutralität alles glaube. Folglich müsse es Qualitätskriterien geben, sodass stets deutlich sei, welche Daten wie eingeflossen seien. Diese Qualitätskriterien seien im AI Act erfolgreich bestimmt worden, so Buyx. In der Verwaltung als grundrechtssensiblem Bereich müsse man den Bürger*innen außerdem eine Einspruchsmöglichkeit bieten und dürfte die Einzelfallbetrachtung nicht ganz der KI überlassen.
Die AG-Sitzung endete mit einer gespannten Erwartungshaltung bezüglich der Umsetzung des AI Acts auf nationaler Ebene. Selbstverständlich werde die AG Innovativer Staat diese auch weiter begleiten, versprachen die AG-Co-Leiter*innen Jan-Lars Bey und Cornelia Gottbehüt.
