„Wir brauchen Urteils- und Methodenkompetenz, auf die auch dann zurückgegriffen werden kann, wenn sich die Technik weiterentwickelt.“
Interview mit Prof. Dr. Christian Djeffal zum Kapitel „Künstliche Intelligenz“ im eGovernment MONITOR 2023
Herr Prof. Dr. Djeffal, Sie forschen an der Technischen Universität München unter anderem zum Einsatz von Künstlicher Intelligenz (KI) in der öffentlichen Verwaltung. Welche Potenziale gibt es für den Einsatz von KI in der öffentlichen Verwaltung?
Viele Potenziale von KI in der Verwaltung sind bereits in der Praxis sichtbar: Chatbots sind ständig verfügbar, die Automatisierung in der Finanzverwaltung hilft, effizienter zu arbeiten, und große KI-basierte Sprachmodelle ermöglichen ein besseres Wissensmanagement. Grundsätzlich ist es wichtig, zu verstehen, dass KI und insbesondere maschinelles Lernen Querschnittstechnologien sind. Sie sind zweckoffen. Die Verwaltung kann daher die Potenziale nicht aus der Technik ableiten, sondern muss nach innovativen Einsatzmöglichkeiten Ausschau halten. In diesem Sinne haben verschiedene Bundesministerien Förderinstrumente für KI aufgelegt, um die Möglichkeiten gerade in ihren Bereichen zu verstehen und zu erschließen. Ein Beispiel ist die Förderinitiative „KI-Leuchttürme für Umwelt, Klima, Natur und Ressourcen“ des Bundesumweltministeriums. Hier werden strategisch umweltförderliche Innovationen gefördert.
Jenseits der Utopien und Dystopien, die teilweise in den Medien im Zusammenhang mit dem Einsatz von KI gezeichnet werden: Wie könnte der Einsatz dieser Technologie in der öffentlichen Verwaltung in den nächsten Jahren realistisch aussehen? Können Sie dies für die Leser*innen skizzieren?
Die Frage ist, wo KI-Systeme wirklich schon so ausgereift sind, dass sie einen großen Mehrwert bringen können. Hervorzuheben sind die Bereiche Risikomanagement und Planung. Hier sind KI-Systeme dem Menschen überlegen und können daher wichtige Informationen zur Entscheidungsunterstützung liefern. Als die Bundesregierung 2022 auf eine Kleine Anfrage hin über den Einsatz von KI in der Bundesverwaltung berichtete, kamen die meisten Beispiele aus diesen beiden Bereichen.
Nach meiner Einschätzung wird mit den großen Sprachmodellen ein weiterer Bereich hinzukommen. Sprachmodelle werden einen großen Einfluss auf die Wissens- und Textarbeit haben, die für die Verwaltung besonders wichtig ist. In den nächsten fünf Jahren werden diese Systeme auch als sprachliche Schnittstelle zu anderen generativen Systemen fungieren, was sie für die Verwaltung noch wertvoller machen wird. Vielleicht wird man das System beauftragen können, Daten im Hinblick auf bestimmte Fragen zu analysieren oder vergleichbare Tätigkeiten auszuführen. Darüber hinaus werden KI-Systeme die Verwaltungsmitarbeiter*innen in scheinbar kleinen Alltagsfragen unterstützen. Dazu gehört das Korrekturlesen oder Übersetzen von Texten. Was nach meiner Einschätzung nicht gelingen wird, ist die Automatisierung ganzer Entscheidungsprozesse. Diese sind oft sehr komplex und vielschichtig. Sie haben oft auch menschliche und soziale Elemente, die nicht einfach digitalisiert werden können.
Die Europäischen Institutionen verhandeln gerade über das KI Gesetz. Es gibt zwar einige Differenzen, aber auch eine große Schnittmenge zwischen den Entwürfen. Wie bewerten sie den generellen Ansatz?
Ich möchte hier eine Lanze für den risikobasierten Ansatz des Entwurfs brechen, dem sich auch das Parlament und die Kommission angeschlossen haben. Der Entwurf ist als Rahmengesetz zu verstehen, das durch Standardisierung und weitere Regulierung (Komitologie) ausgefüllt wird. Der Entwurf verfolgt im Wesentlichen drei Ziele: 1. Er legt einen Risikomanagementprozess für Hochrisikosysteme fest und formuliert bestimmte Anforderungen; 2. er differenziert Pflichten für verschiedene Akteur*innen wie Anbieter*innen, Händler*innen oder Nutzer*innen; 3. er differenziert an vielen Stellen nach Anwendungsbereichen und Anwendungen, auch für die öffentliche Verwaltung. Diese wird nach den bisherigen Entwürfen von den Regelungen betroffen sein, sei es im Bereich Justiz und Sicherheit oder bei internen Prozessen wie der Personalauswahl.
Für die Verwaltung bedeutet dies, dass die weit gefassten Begriffe des Gesetzes gegebenenfalls auch mit europäischen Partnern weiter präzisiert werden müssen. Wenn dies gelingt, besteht die Chance auf gute sozialverträgliche und rechtssichere Lösungen. Die Beratungen zum OZG 2.0 im Bundesrat haben gezeigt, dass diese Rechtssicherheit bereits auf der politischen Ebene eine wichtige Voraussetzung für die Akzeptanz ist.
Fragt man die Bürger*innen, unter welchen Umständen der Einsatz von KI bei Behördendiensten für sie in Ordnung wäre, geben 21 Prozent an, dass dies für sie auf keinen Fall in Ordnung sei. Was müsste Ihrer Meinung nach getan werden, um auch diese Menschen mitzunehmen und von den Vorteilen von KI zu überzeugen?
Auch wenn ich selbst anderer Meinung bin, ist die Ablehnung von KI in der öffentlichen Verwaltung grundsätzlich eine legitime Position, die es zu respektieren gilt. Dennoch wäre es interessant, zu erfahren, auf welchen Gründen die Ablehnung von KI beruht, also welche Ängste, Bedenken oder Bedürfnisse dahinter stehen. Daraus lassen sich vermutlich wichtige Hinweise für die weitere Entwicklung von KI-Anwendungen ableiten. Es ist nicht auszuschließen, dass sich Einstellungen ändern, wenn sich Bürger*innen intensiv mit der Technologie auseinandersetzen und effektiv an der Entwicklung von KI-Systemen partizipieren. Meine Forschungsgruppe arbeitet im Projekt RechTech an kokreativen Methoden für Innovationsprozesse im Kontext des Forschungsclusters Integrierte Forschung. Wir haben hier sehr gute Erfahrungen damit gemacht, Stakeholder*innen die Möglichkeit zu geben, gemeinsam mit uns Anwendungsmöglichkeiten innovativ weiterzudenken. Das ist aus meiner Sicht auch ein probates Mittel, um die Akzeptanz zu erhöhen.
Knapp die Hälfte gibt an, dass der Einsatz von KI für sie nur dann akzeptabel ist, wenn grundlegende Entscheidungen weiterhin von Menschen getroffen werden. Dies stellt jedoch hohe Anforderungen an die Kompetenzen der Mitarbeitenden in der öffentlichen Verwaltung: Sie müssen in der Lage sein, die Empfehlungen der KI zu verstehen und zu prüfen, um schließlich selbst zu einer Entscheidung zu kommen. Dabei spielen auch psychologische Effekte wie der Automation Bias eine Rolle. Sind die öffentlichen Verwaltungen darauf vorbereitet?
Was die Ausbildung der Mitarbeiter*innen angeht, gibt es einige positive Beispiele für die Steigerung entsprechender Kompetenzen, z. B. die Polizeiausbildung in Hessen oder die Führungskräfteausbildung an der Verwaltungsakademie Berlin. Die Herausforderung besteht heute darin, Urteils- und Methodenkompetenz zu vermitteln, auf die auch dann zurückgegriffen werden kann, wenn sich die Technik weiterentwickelt hat.
Alle Schulungen helfen jedoch nicht, wenn die Prozesse nicht so gestaltet werden, dass die Mitarbeiter*innen an der richtigen Stelle eingreifen können und dafür auch mit den entsprechenden rechtlichen Kompetenzen ausgestattet sind. Man muss den Einsatz von Technologien ganzheitlich betrachten und auch über organisatorische Maßnahmen nachdenken. Bei wichtigen Entscheidungsprozessen sollte z. B. über eine neutrale Anlaufstelle für Betroffene nachgedacht werden, die in Zweifelsfällen weiterhelfen kann und auch die Interessen der Betroffenen vertritt.
Wir haben die Bürger*innen auch gefragt, welche Effekte der Einsatz von KI in der Verwaltung haben wird. Etwas mehr als die Hälfte glaubt, dass die Bearbeitungszeiten kürzer werden, aber immerhin jede*r Vierte glaubt auch, dass mehr Bearbeitungsfehler passieren und Entscheidungen weniger objektiv ausfallen werden als ohne den Einsatz. Treffen diese Einschätzungen zu?
Für alle Antworten gibt es Beispiele aus der Praxis. Die deutsche Steuerverwaltung ist durch die Automatisierung schneller geworden und entscheidet einheitlicher als noch vor einigen Jahren. Der Robo-Debt-Skandal in der australischen Sozialverwaltung zeigt aber, dass Automatisierung auch zu einem starken Anstieg der Fehlerquote und der Bearbeitungszeiten führen kann. Die Lehre daraus: Es kommt auf das Design an. Dabei ist es sehr wichtig, gesellschaftliche Belange frühzeitig mitzudenken, zum Beispiel im Rahmen von Law-by-Design. Partizipative Maßnahmen, Evaluationen, Überprüfungsmöglichkeiten und Mitarbeiter*innenschulungen sind hier wichtige Elemente.
Wenn Sie sich die Antworten der Bürger*innen ansehen: Welches Ergebnis hat Sie besonders überrascht, sei es positiv oder negativ?
Ist es nicht bemerkenswert, dass rund 80 Prozent der Menschen in den drei Ländern den Einsatz von KI-Systemen akzeptieren würden, wenn auch unter bestimmten Bedingungen? Ich würde das als Vertrauensvorschuss werten, dem man mit einer sorgfältigen Gestaltung von menschenzentrierten und vertrauenswürdigen Systemen begegnen sollte. Natürlich muss man auch die fehlenden 20 Prozent ernst nehmen. Dennoch sind Akzeptanz und Aufgeschlossenheit höher als in anderen in der Studie abgefragten Bereichen.