Podcast Ethik Digital: Yvonne Hofstetter über Ethik bei autonomen Waffensystemen

Wie kommt die Ethik in die Gesetzgebung?

Derzeit arbeitet die EU an einer neuen Gesetzgebung: Dem "Artificial Intelligence Act" (AI-Act). Wie schätzen Sie diese Regulierungsidee ein?

Hofstetter: Wir leben in einem Land, das nicht zuerst mit Moral und Ethik hantiert, sondern mit Recht und Gesetz – es ist ein Rechtsstaat. Das gilt für alle und gehört immer zuerst abgeprüft, auch wenn es um die Bewertung neuer technologischer Systeme geht. Das Recht, so hieß es im letzten Jahrhundert, implementiert das ethische Minimum. Ich würde das nicht ganz unterschreiben, denn das Recht beansprucht Autonomie neben der Ethik. Recht hat auch ein anderes Ziel als Ethik.

Ethik und Moral beschäftigen sich mit dem, was Gut und Böse ist, während sich das Recht mit dem beschäftigt, was gerecht ist. Minderheiten müssen beachtet, aber auch die Mehrheit darf nicht ignoriert werden. Wenn wir neue technologische Systeme bauen und live nehmen, müssen wir schauen, ob sie mit der aktuellen Gesetzgebung in Einklang stehen.

Beim "Artificial Intelligence Act" (AI-Act) der EU (siehe Infokasten unten) geht es nicht um Moral. Es handelt sich um hoheitlich zu setzendes Recht und definiert, welche KI-Systeme mit Risiken behaftet sind. Es gibt KI-Systeme, die haben ein hohes Risiko, und es gibt Systeme, die haben ein niedriges bis kein Risiko. Das wird in diesem EU AI Act beschrieben. Und dann werden Anforderungen definiert, die die Hersteller erfüllen müssen. KI-Systeme mit einem hohen Risiko können beispielsweise Urteile fällen über Menschen. Und das muss besonders sorgfältig angeschaut werden.

Der EU AI Act ist allerdings nicht anwendbar auf KI-Systeme mit militärischer Nutzung, sondern tatsächlich nur für zivile kommerzielle KI-Systeme. Menschen algorithmisch überwachen, Menschen klassifizieren und kategorisieren, das sind KI-Systeme mit hohem Risiko. Sie können Auswirkungen haben auf die Kreditwürdigkeit eines Menschen, auf die Souveränität eines Menschen, der ja über seine Zukunft selbst bestimmen soll und das nicht einer Maschine anheim geben möchte.

Von Unternehmen verlangt der EU AI Act, dass man KI-Systeme in einer Sandbox zertifizieren lässt. Da stellt sich die Frage, wie das überhaupt umgesetzt werden soll. Ich stelle mir das relativ schwierig vor, zumal wir unterschiedlichen Klassen von KI haben. Es gibt eine erste, zweite, dritte und vierte Welle von KI. Der EU AI Act bezieht sich eigentlich nur auf die zweite Welle von KI, die Menschen oder Dinge klassifiziert oder kategorisiert. In der dritten Welle gibt es KI-Systeme, die über Kontextwissen verfügen, ihre Konsequenzen kennen und so etwas wie technische Autonomie haben. Und da stellen sich ganz andere philosophische und rechtliche Fragen.

Und wie ist das mit der Zertifizierung?

Hofstetter: Es sollen sogenannte Prüfstellen auf nationaler Ebene eingerichtet werden, die Sandbox zum Testen und Zertifizieren zur Verfügung stellen. Das halte ich für sehr schwierig, weil wir je nachdem, welches "KI-System of Interest" zertifiziert werden soll, eine spezielle Sandbox benötigen. Ich glaube nicht, dass die EU so eine nationale Zertifizierung einrichten kann, besonders nicht für Dritte Welle KI, weil diese mit digitalen Zwillingen der Welt – mit "Weltmodellen" – arbeitet. Verfügt ein Zertifizierer nicht über diesen digitalen Zwilling, kann er eine KI gar nicht testen und deshalb auch nicht zertifizieren.

Die neue Gesetzgebung versucht mit Begriffen wie Robustheit oder Vertrauenswürdigkeit auch eine Terminologie zu schaffen, mit der Prozesse operationalisiert werden können. Werden wir immer hinterher hinken mit der Gesetzgebung? Glauben Sie, dass Unternehmen zukunftsträchtiger arbeiten können?

Hofstetter: Das Recht hinkt tatsächlich immer ein bisschen hinterher oder braucht lange Zeit. Bei Gesetzgebungsvorhaben der EU haben wir es in der Regel mit sieben bis acht Jahren zu tun, bis diese dann für alle EU-Mitgliedstaaten verbindlich in Kraft treten. Aber es gibt einen brandneuen Standard, mit der sich die Industrie selbst zu helfen versucht.

Ein neuer Standard bringt mehr Ethik in die Software

Das Institute of Electrical and Electronics Engineers (IEEE) ist eine globale Ingenieursvereinigung. Sie hat einen neuen Standard entwickelt. Der "Standard IEEE 7000" ist im September 2021 in Kraft getreten. (Siehe Infokasten am Ende des Artikels) Er stellt Ingenieuren ein Verfahren zur Verfügung, um die rechtlichen und die ethisch-moralischen Anforderungen einer Gesellschaft zu eruieren und sie in die Funktionen eines technischen Systems zu übersetzen.

Derzeit rollt sich der Standard an Universitäten aus. Denn der Standard ist innovativ und muss gelehrt werden: die Inhalte und das Vorgehen des Standards ist zu lehren. Innerhalb des Standards gibt es eine weitere Innovation, weil er einen neuen Berufsstand einführt: die sogenannten "Value Leads". Man muss auch lernen, Value Lead zu werden.

Was machen die Value Leads?

Die Value Leads haben im "System Engineering Prozess" die Aufgabe der Moderation und Strukturierung von Werten und deren Übersetzung in technische Funktionen. Sie müssen geschult werden auf Ethik-Theorien und auf Werte, und sie müssen ein technisches Verständnis haben. Als Übersetzer müssen sie die Anforderungen der Gesellschaft und des Gesetzgebers aufgreifen und in die Systemanforderungen übertragen.

IEEE 7000-2021 ist ein wunderschöner Standard, der nicht leicht auszuarbeiten war, weil er kein reiner technischer Standard ist, sondern Geisteswissenschaften und Naturwissenschaften miteinander vereint. Aber er ist sehr stimmig. Und das, was herauskommt, ist einfach bessere Technik. Denn so etwas wie vertrauenswürdige KI und ethische KI - was soll das denn sein? Listen mit Begriffen wie Robustheit oder Sicherheit sind "normale" Qualitätsattribute von Systemen, die Ingenieure schon immer berücksichtigen mussten. Sie beschränken uns nur beim Engineering. Listen nennen nur Qualitätsattribute, die aber überhaupt nicht zum Ausdruck bringen, wie ich mit Technik Menschenwürde schütze oder Tugenden wie Mut oder Heimatliebe. Und das schafft dieser Standard.

Gehen die weichen Faktoren des Menschen, die Seele, mit unserer datenbasierten Lebenswelt verloren?

Hofstetter: Ja, wir machen in unserer Gesellschaft alles messbar. Durch die Messbarkeit geht alles verloren am Menschen, was nicht messbar ist, das Gewissen, die Seele. Aber das macht den Menschen aus, eine holistische Sichtweise auf den Menschen, die sich nicht unbedingt messen lässt.

Sie wenden den Standard schon an?

21strategies wendet für ein KI-System, das wir für die Bundesregierung bauen, den Standard an. Damit bauen wir eines der ersten Systeme in Deutschland, das sich nach diesem Standard richtet. Das ist eine Menge Zusatzarbeit. Um dem Standard nachzukommen, müssen Unternehmen entsprechende Investments und Budgets in die Hand nehmen, um einen Value Lead zu beschäftigen und die Ingenieure zu schulen. Es ist ein ziemlicher Aufwand. Aber das KI-System ist dann konform mit dem Standard, was heißt: Wir haben die Compliance der KI mit dem Grundgesetz, mit unseren rechtsstaatlichen Vorschriften und eben auch mit bestimmten moralischen Anforderungen der Nutzer erreicht. Die haben wir mit berücksichtigt, und das ist es uns wert. Es kommt einfach eine bessere Software dabei heraus.

Worum handelt es sich bei der Anwendung?

Hofstetter: Es handelt sich um ein Simulationssystem für die Bundeswehr, eine Art "Computerspiel", in dem künstliche Intelligenz gegen künstliche Intelligenz antritt. Das Ganze findet auf einem sehr realistischen Modell des modernen Gefechtsfeldes statt. Wir haben etwa einen Gepard-Panzer modelliert und Drohnen. Wir können simulieren, wie Drohnenschwärme angreifen und wie sie abgewehrt werden können. Es gibt nämlich im Moment praktisch kein Mittel gegen bewaffnete Drohnen. Das ist eine ganz große Gefahr. Die Gefahr aus der Luft simulieren wir sehr realistisch und sehr genau. Wir arbeiten zusammen mit Unternehmen aus der Verteidigungsindustrie, die uns Daten über die Physik ihrer Systeme zur Verfügung stellen, ihrer Sensorik, beispielsweise, ihrer Radarsysteme, sodass wir tatsächlich sehr, sehr realistisch nachspielen können, wie sich Drohnen, die mit künstlicher Intelligenz aufgeladen sind, verhalten können, weil das hat ja noch nie jemand beobachtet. Wir wissen, dass solche Systeme entwickelt werden, aber bisher hat niemand sehen können, was es bedeutet, wenn ein Schwarm von Hunderten von Drohnen auf dich zufliegt, einen Angriff selbst organisiert – und wie man so einen Angriff abwehren kann. Das simulieren wir in dieser sehr realistischen Umgebung, um neue Abwehrmöglichkeiten, neue Taktiken, neue Gegenstrategien zu testen.

Yvonne Hofstetter: Wie der christliche Glaube die Arbeit beeinflusst

Sie waren auf einer Klosterschule und sind katholisch. Hat der Glaube einen Einfluss auf Ihre Arbeit?

Hofstetter: Ich bin gerne katholisch. Wenn ich in die Heilige Schrift schaue, dann ist dort der Verteidigungskrieg ein erlaubter Krieg. Und wir haben wirklich etwas zu verteidigen: unsere Demokratie. Es ist überhaupt nicht selbstverständlich, dass wir demokratisch leben, dass wir uns frei äußern können, dass wir uns frei versammeln können, dass wir Minderheiten schützen können. Wenn wir ein Stückchen weiter in den Osten schauen, sehen wir ganz andere Konzepte und Systeme. Der Krieg gegen die Ukraine ist nicht nur ein Krieg gegen ein Land, sondern tatsächlich geht es um die Idee, die uns bekannte Weltordnung zu verändern: mehr hin zur Diktatur, mehr hin zum Autoritarismus, mehr hin vielleicht auch zum Faschismus. Wenn ich mich in die Opferrolle begebe als Staat, dann hat das faschistische Züge und das, denke ich, müssen und dürfen wir abwehren. Das ist auch vom Glauben her gedeckt. Davon abgesehen ich finde es auch vernünftig, das zu tun. Ich arbeite mit für die Verteidigung, für die nationale Sicherheit, und dazu stehe ich.

Was können wir, was müssen wir tun, um Minderheiten in der digitalen Welt zu berücksichtigen?

Hofstetter: Das Internet hat dazu beigetragen, dass Minderheiten sich eine Stimme verschaffen konnten. Andererseits haben wir auch erfahren, dass sich Minderheiten, deren Kommunikationsstrategie es ist, sich über die sozialen Medien Einfluss und Macht zu verschaffen, durch die technischen Möglichkeiten größer aussehen, als sie sind, aber so die Gesellschaft spalten. Das ist ein großes Problem. So wird die Frage nach der Wahrhaftigkeit der Information und der Quelle wichtig. Tatsächlich können Sie Informationen im Netz nicht vertrauen, wenn Sie nicht wissen, woher diese kommen. Die Quelle ist wichtig, um die Wahrhaftigkeit und Zuverlässigkeit einer Information zu bewerten. Das Problem der Quelle ist ja nach wie vor nicht gelöst.

Und könnte das über diesen Standard gelöst werden?

Hofstetter: Ja, aber die Frage ist jetzt, setzt sich der Standard IEEE 7000-2021 auch bei kommerziellen Unternehmen durch und nicht nur beim Staat? Ich sehe, dass sich der Standard langsam ausbreitet, weil er von Universitäten und Regierungen aufgegriffen wird. Das EU-Parlament kennt den Standard, die NATO kennt ihn. Wenn er sich verbreitet, wird der Druck auf die Unternehmen größer. Wenn die Unternehmen sagen, wir wollen "compliant" sein mit dem Standard, dann steigert sich auch die Qualität und die Glaubwürdigkeit der Unternehmen.