Anna Mätzener ist Leiterin von AlgorithmWatch Schweiz. Die promovierte Mathematikerin beschäftigt sich mit den Auswirkungen von Algorithmen auf die Gesellschaft und erstellt wissenschaftliche Studien, sie berät Organisationen und Politik, betreut Projekte und hält Vorträge und Seminare. Mit Sonntagsblatt-Chefredakteurin Rieke C. Harmsen spricht sie über ihre Motivation und die Arbeit. Auf der Ethik-Konferenz Shift 2022 will Mätzener ein Tool vorstellen, mit dem der ethisch verantwortungsvolle Einsatz algorithmischer Systeme gesteuert werden kann.
Anna Mätzener, wie kommst du zu "AlgorithmWatch"?
Mätzener: Mein Weg war nicht sehr gradlinig. Ich habe Mathematik studiert, Philosophie und Sprachwissenschaft im Nebenfach und war schon während des Studiums Lehrerin an einem Gymnasium für Mathematik. Nach meiner Promotion bin ich zu einem Wissenschaftsverlag gegangen, war planerisch für Mathematik und Wissenschaftsgeschichte tätig. Aber mit Familie war das dann irgendwie ein bisschen zu kompliziert, vor allem wegen der Reisetätigkeit. Dann war ich wieder Lehrerin, was mir auch wirklich gefallen hat. Aber irgendwie wollte ich noch mehr bewirken mit dem, was ich mache. Ich habe Mathematik studiert, weil es da um die Funktion von Systemen geht. Und ich bin Technologiejunkie. Und dann kam diese Stellenausschreibung und ich darf nun AlgorithmWatch in der Schweiz aufbauen und leiten.
Warum braucht es AlgorithmWatch in der Schweiz?
Mätzener: Erstmal ist die Schweiz nicht in der EU und so finden viele politische Diskussionen hier komplett separat statt. Den Diskurs hier kann man nicht gut von Außen steuern oder beeinflussen. Wir wollen hier den öffentlichen Diskurs ankurbeln und eine breite Öffentlichkeit schaffen.
Andererseits findet viel in der Schweiz statt, es gibt hier viel Forschung und Innovation zum Thema Algorithmen. Ich glaube, wir sind in den anderthalb Jahren schon recht gut angekommen hier.
Welche Projekte und Ziele verfolgt ihr konkret?
Mätzener: Wir haben für das Museum für Gestaltung in Zürich eine Ausstellung namens Planet Digital mit einem Exponat unterstützt. Das war ein gemeinsames Projekt mit der ZHAW, der Zürcher Hochschule für Angewandte Wissenschaften. Wir haben Filme produziert zum Thema unfaire Algorithmen. (hier geht es zum Projekt der Ausstellung). Wir arbeiten mit JournalistInnen zusammen. Und wir haben gerade eine Petition abgeschlossen, die sich für ein Verbot von automatisierter Gesichtserkennung im öffentlichen Raum in Schweizer Städten einsetzt. Da geht es um eine sehr konkrete politische Forderung. Wir haben über 10.000 Unterschriften sammeln können.
Was passiert mit der Petition zum Verbot automatisierter Gesichtserkennung?
Mätzener: Wir geben die Ergebnisse weiter an den Städteverband, an die größten Schweizer Städte und die Kantonshauptstädte. Wir wollen das Thema Gesichtserkennung damit ins politische Geschehen einbringen, und das ist uns gelungen: Es gibt jetzt in vier oder fünf Schweizer Städten Vorstösse, die genau das fordern, was wir möchten. Und wir hoffen, den öffentlichen Diskurs über das Thema anzuregen.
Volksabstimmungen sind in der Schweiz sehr beliebt, plant ihr das auch?
Mätzener: Das ist eine Möglichkeit, aber das dauert halt mehrere Jahre und man braucht ein grosses Initiativkomitee. Und das haben wir im Moment so noch nicht. Und dann stellt sich die Frage, ob die Volksinitiative auf Bundesebene oder auf Kantonsebene umgesetzt wird.
Fühlst du dich mit den vielen Anforderungen und dem riesigen Thema manchmal wie David gegen Goliath?
Mätzener: Auf eine gewisse Art schon. Wir haben aber festgestellt, dass wir offene Türen einrennen mit dem Thema. So eine Organisation wie AlgorithmWatch mit genau dieser Stoßrichtung und dieser Thematik gab es bislang nicht. Von Vorteil ist dabei, dass es uns in Berlin schon seit etwa sechs Jahren gibt und wir eng zusammenarbeiten. So können wir die EU-Themen gut auf die Schweiz übertragen.
Zusammen mit mehr als zehn anderen Organisationen habt ihr ein Statement zum Gesetz über die digitalen Dienste (Digital Service Act, DSA) verfasst, in dem ihr sechs konkrete Forderungen stellt. Was erhoffst du dir von dieser Kooperation?
Mätzener: Die Kooperationen sind sehr wichtig. Wir können Allianzen zu bestimmten Themen bilden. Das zeigt dann auch die Allgegenwärtigkeit und Breite des Themas. Und wir haben mehr Kraft, als wenn wir ein solches Papier alleine veröffentlichen.
Ihr fordert in dem Papier unter anderem einen stärkeren Schutz der Daten von Minderjährigen, eine Regulierung von trackingbasierter Werbung und mehr Einblick in die Daten der Plattformen. Für wie realistisch hältst du es, dass diese Forderungen auch berücksichtigt werden?
Mätzener: Ich habe keinen direkten Einblick in die Arbeit der Kolleginnen, die die EU-Themen betreuen. Aber ich denke, dass wir beobachten können, wie die Arbeit der Zivilgesellschaft inzwischen Früchte trägt. Schon im ersten Entwurf der Gesetze wurden Forderungen der NGOs berücksichtigt.
In dem Positionspapier erwähnen wir, wie Facebook erst kürzlich unsere Forschungsarbeit verhindern wollte. Das Thema wurde von der EU aufgegriffen. Das ist ein Beispiel, das zeigt, dass unsere Arbeit durchaus etwas bringt und unsere Themen mit einbezogen werden in die weiteren Überlegungen.
In der Schweiz will die Polizei "Predictive Policing" für die Vorhersage von Straftaten nutzen. In den USA wird das schon eingesetzt, doch gibt es Studien, die vieles bemängeln und unter anderem meinen, dass die Probleme in einem Stadtviertel damit erst recht verstärkt werden.
Mätzener: Das ist richtig. Es gibt ja zwei Arten von Predictive Policing. Beim einen geht es darum, Einbrüche vorherzusagen oder vorauszusagen, in welchen Gegenden Einbrüche stattfinden könnten. Und beim anderen geht es darum, Personen zu identifizieren, die GefährderInnen sind. Bei beiden schaut man sich mit statistischen Daten historische Delikte an und zieht daraus Schlüsse. Was ist das für eine Gegend, wo Einbrüche stattgefunden haben? Dort wird die Polizeipräsenz erhöht und dann werden mehr Delikte erfasst, weil die Polizei aktiv ist. Das System verstärkt sich, bis die Einbrecher es merken und in eine andere Gegend wechseln. Und das kann das System dann halt nicht voraussagen.
Bei GefährderInnen wird auch auf Daten zurückgegriffen, die es schon gibt. Was waren das für Menschen, die gefährlich waren? Wo kommen die her? Was haben die für eine Hautfarbe? Und bei der Analyse kann sich das dann verstärken. Die große Gefahr besteht also darin, dass Menschen abgestempelt werden und auf einer Liste stehen und nicht wissen, ob und wie sie aus dieser Liste wieder gestrichen werden, wenn sie unberechtigterweise darauf stehen.
Ich persönlich finde es abschreckend, dass wir in der Schweiz mit dem Fichen-Skandal diese Listen kennen, auf denen Daten gesammelt wurden über Menschen, die irgendwie politisch nicht konform waren, und dann eine bestimmte Ausbildung verhindert wurde oder die Zulassung zu einem Amt. Das ist gar nicht so lange her. Und es kommt mir vor, als hätten wir aus der Geschichte nichts gelernt. Hinzu kommt, dass der Umgang mit Daten sehr intransparent ist, dass man nicht weiß, wer das wie einsetzt und wie gut diese Systeme sind, weil halt niemand unabhängig Einblick hat. Und das müssen wir regeln und auch eine gesetzliche Grundlage schaffen.
Wie geht ihr denn vor bei diesem konkreten Polizei-Thema?
Mätzener: Viel geschieht im Hintergrund. Wir betreiben politisches Lobbying und gehen auf ParlamentarierInnen zu und unterstützen und beraten sie. Wir beteiligen uns an dem Vernehmungsverfahren bei Gesetzen und bringen uns ein mit den Erfahrungen und dem Wissen, das wir haben. Und wir suchen den Dialog mit der Öffentlichkeit.
Wir wollen klar machen, dass Sicherheit nicht dazu missbraucht werden darf, Techniken einzuführen, die gewissen Menschen schaden könnte.
Auf der Shift-Konferenz 2022 treffen sich Unternehmen und diskutieren über digitale Ethik. Wie ernsthaft bemüht sich die Wirtschaft um digitale Ethik, ist das nicht nur "Ethikwashing"?
Mätzener: Ich glaube die Spannweite ist derzeit sehr, sehr groß. Es gibt Unternehmen, die nehmen das Thema sehr ernst und bemühen sich wirklich. Und es gibt Ethikwashing. Das passiert vor allem dann, wenn es Ethik-Boards oder Gremien gibt, die nicht wirklich etwas zu sagen haben und Entscheidungen nicht stoppen oder in Prozesse nicht eingreifen dürfen.
Was machst du auf der Konferenz?
Mätzener: Ich stelle unser Tool für die öffentliche Verwaltung vor, mit dem der ethisch verantwortungsvolle Einsatz algorithmischer Systeme gesteuert werden kann. Das Tool lässt sich gut auf privatwirtschaftliche Unternehmen übertragen. Das Tool besteht aus Checklisten, die bestehende Probleme schon in der Planungsphase verdeutlichen. Wir denken, dass dieses Tool sich gut auf die Privatwirtschaft übertragen lässt.
Was ist die größte Herausforderung für die digitale Ethik?
Mätzener: Ich glaube wir sind auf einem guten Weg. Es gibt Bereiche, da sind wir schon recht weit, wie bei dem Thema Cybersecurity.
Insgesamt brauchen wir einfach mehr Zeit, um uns mit dem Thema digitale Ethik auseinanderzusetzen. Und das müssen wir uns etwas kosten lassen. Denn schließlich wollen wir eine Technologie, die allen Menschen in unserer Gesellschaft zugute kommt - und nicht nur wenigen.
Podcast "Ethik Digital"
Die Digitalisierung unserer Gesellschaft schreitet voran. Wie können wir uns orientieren und eine eigene Haltung finden? In unserem Podcast "Ethik Digital" sprechen wir mit Expert*innen - und suchen nach Antworten für unser menschliches Handeln.
Der Podcast Ethik Digital von Rieke C. Harmsen und Christine Ulrich kann auf diesen Kanälen abonniert werden:
Fragen und Anregungen mailen Sie bitte an: rharmsen@epv.de
Was hältst du von der Idee, einen "Ethik-Label" oder einen "Ethik-Score" einzuführen?
Mätzener: Ich bin nicht davon überzeugt, dass ein Ethik-Label die beste Variante ist, um die komplexe Situation zu lösen. Denn für einen Label benötigen wir eine Quantifizierung, also eine Übersetzung von Leistungen in Zahlen. Und das ist wirklich sehr anspruchsvoll, diese Leistungen objektiv in Zahlen zu übersetzen. Die Gefahr ist einfach groß, dass wir trotz allem eine bestimmt Gruppe von Menschen diskriminieren oder benachteiligen. Bei einem Label müssten wir auch dafür sorgen, dass die Leistungen immer wieder neu beurteilt werden, denn es kann sich die Technologie ändern ebenso wie das gesellschaftliche System. Und darauf müsste man dann sofort reagieren.
Bei den Ethik-Scores habe ich ähnliche Bedenken. Bei den Lebensmitteln im Supermarkt gibt es ja diese Bewertung von A bis E (Nutriscore). Als Unternehmen ist es relativ leicht, ein Produkt dahingehend zu optimieren. Da wird dann der Rohrzucker durch ein Süßmittel ersetzt, damit das Produkt in die bessere Kategorie rutscht. Überträgt man dieses Modell auf die Ethik laufen wir Gefahr, zu akzeptieren, dass wir statt Diskriminierung zu verhindern, diese einfach von einer Gruppe auf eine andere verschieben (z.B. weniger Frauen diskriminieren, dafür mehr Menschen mit dunkler Hautfarbe).
Wie bringen wir denn die Ethik in die Technologie?
Mätzener: Es gibt nicht einen Weg, sondern wir brauchen viele Facetten. Wir müssen die Autonomie des einzelnen Menschen stärken. Der Zugang zu Informationen muss leicht sein und die Informationen müssen verständlich sein. Wir brauchen die Möglichkeit, sich einem System zu widersetzen und zu widersprechen, wenn etwas falsch läuft. Hier brauchen wir mehr gesetzliche Regulierung. Außerdem benötigen wir Transparenz, um ethische Grundprinzipien zu erreichen wie Gerechtigkeit, Fairness, Autonomie oder auch Schadensvermeidung. Schließlich benötigen wir Verfahren und Prozesse, die wie Industriestandards funktionieren.
Viele Menschen haben Angst vor der Technologie und algorithmischen Anwendungen. Brauchen wir mehr positive Beispiele?
Mätzener: Es gibt heute schon viele gute Anwendungen. In der Schweiz gibt es ein Pilotprojekt für die Zuteilung der Schüler in den Schulklassen, weil wir hier zu wenig Schulraum haben und Personalmangel, und dann gibt es vieles, was berücksichtigt werden muss, spezielle Förderung von Sprachkenntnissen oder integrative Modelle. Zudem kann so eine möglichst grosse Durchmischung von Kindern in Bezug auf Sprachkenntnisse und Hintergrund ermöglicht werden. Studien bestätigen, dass es allen Kindern für gute Leistungen hilft, wenn die Klassen möglichst gemischt sind.
Aber auch in der Medizin gibt es gute Anwendungen, wie bei der Diagnostik von Brustkrebs. Natürlich schaut auch noch eine Ärztin auf die Ergebnisse, aber insgesamt ist das eine Bereicherung. Und natürlich spart es Kosten, wenn eine Erkrankung früh erkannt wird, was wiederum für alle einen Nutzen bringt.
Welche Werte leiten dich persönlich bei ethischen Fragestellungen?
Mätzener: Ich habe eine große Abneigung gegen jegliche Diskriminierung, und das ist mein Antrieb für die Arbeit. Und dann will ich die Welt nicht in einem schlechteren Zustand hinterlassen, wie ich sie erhalten habe.
Technologie an sich ist nicht schlecht, sie hat wirklich Potenzial. Es geht darum, einen verantwortungsvollen Umgang damit hinzubekommen. Und das ist machbar. Digitale Ethik trägt dazu bei, dass die Entwicklung in die richtige Richtung geht.
Vielen Dank für das Gespräch.
Shift Konferenz 2022
Der Sonntagsblatt-Podcast "Ethik Digital" ist Medienpartner der diesjährigen "Shift"-Konferenz zur Digitalen Ethik. Die Konferenz versteht sich als Plattform zur Diskussion für ethische Themen.
Die Shift 2022 Konferenz findet am 7. April statt und will sich laut Organisatorin Cornelia Diethelm auf den Bereich von Unternehmen und Wirtschaft konzentrieren. Ziel sei es, zu erforschen, wie Unternehmen mit ethischen Fragestellungen umgehen.
EU-Gesetzgebung - Gemeinsame Erklärung von Algorithmwatch
Das Committee on Artificial Intelligence (CAI) des Europarats hat die Verhandlungen zu einem neuen Rechtsrahmen für Systeme der Künstlichen Intelligenz (KI) aufgenommen. In einer gemeinsamen Erklärung fordern AlgorithmWatch und andere zivilgesellschaftliche Organisationen die Mitgliedstaaten auf, einen Rechtsrahmen für KI zu schaffen, der sich am Mandat des Europarates orientiert: dem Schutz der Menschenrechte, der Demokratie und der Rechtsstaatlichkeit.
In der gemeinsamen Erklärung fordern die Einrichtungen die Mitglieder des CAI auf:
(i) KI-Systeme, die im Rahmen der nationalen Sicherheit eingesetzt werden, unmissverständlich in den Anwendungsbereich des künftigen Rechtsinstruments einzubeziehen.
(ii) die zivile Nutzung von KI-Systemen, die potenziell ‘dual use’ sind (also sowohl für militärische als auch für nicht-militärische Zwecke genutzt werden können), unmissverständlich in den Anwendungsbereich des künftigen Rechtsinstruments einzubeziehen.
(iii) sicherzustellen, dass der neue Rechtsrahmen die internationalen Menschenrechtsstandards ergänzt und stärkt – und nicht versucht, diese zu untergraben oder zu ersetzen.
(iv) den Einbezug und die Beteiligung der Zivilgesellschaft fortzusetzen und zu verstärken.
Das komplette Papier kann als PDF hier heruntergeladen werden.
