Wie Künstliche Intelligenz sensibel für Minderheiten wird

Amazon bekommt eine Flut von Bewerbungen, die das Unternehmen auch mit KI bearbeitet. Recht schnell stellte sich jedoch das Geschlecht als k.-o.-Kriterium heraus: Frauen wurden häufig aussortiert. Die Ursachenforschung ergab, dass Männer in den Trainingsdaten, mit denen eine KI lernt, Kriterien und Regeln für spätere Entscheidungen im operativen Betrieb abzuleiten, überrepräsentiert waren. Aus dem einfachen Grund, dass in der Vergangenheit mehr Männer als Frauen eingestellt worden waren. Doch selbst als der Algorithmus Trainingsdaten bekam, in denen das Geschlecht nicht explizit auftauchte, benachteiligte er weiterhin Frauen. Mutmaßlich leitete die KI das Geschlecht indirekt ab, zum Beispiel anhand von vermeintlich frauentypischen Hochschulen oder Vereinen, die in den Lebensläufen auftauchten. Amazon verwarf diesen Algorithmus schließlich.

KI führt häufig zu Diskriminierung

Es ist nicht der einzige Fall, in dem sich KI als diskriminierend erweist. Auf ein aktuelles Beispiel mit einem Ableger des vieldiskutierten ChatGPT wies dieses Jahr Collin Bjork, Dozent an der neuseeländischen Massey University, hin. Bjork hatte mit dem DALL-E 2 experimentiert – einer KI, die Bilder aus Textbeschreibungen erzeugt. Wenn er „Nahaufnahme von Händen, die auf dem Laptop tippen“ eingab, generierte die KI nur Bilder mit Händen von weißen Männern. Erst durch eine spezifischere Eingabe konnte Bjork andere Motive generieren. Seine Vermutung: Weiße, englischsprachige Männer hätten lange in schreibintensiven Bereichen wie Journalismus, Recht, Politik und Forschung dominiert. So sei es kein Wunder, dass die KI einseitige Trainingsdaten bekomme – weil weiße Männer schlicht um ein Vielfaches mehr Texte geschrieben haben als Nichtweiße.

Laura Schelenz befasst sich in ihrer Promotion mit diversitätssensibler Technik aus einer ethischen Perspektive. Sie forscht am Internationalen Zentrum für Ethik in den Wissenschaften, das an der Universität Tübingen angesiedelt ist. „KI führt häufig zu Diskriminierung“, sagt sie. „Weil KI oft mit einseitigen Daten trainiert wird oder weil KI den Kontext von Situationen schlecht erkennt.“ Laut dem „2023 AI Index Report“ der Stanford University stieg die Zahl der dokumentierten negativen Vorfälle mit KI im vergangenen Jahrzehnt rasch an: von 2012 bis 2021 um das 26-Fache auf 260. Betroffen sind vor allem Frauen, People of Color, queere Menschen oder nationale Minderheiten bei Neueinstellungen, bei biometrischen Grenzkontrollen, bei der Kreditvergabe oder bei Rückfallprognosen nach Straftaten.

© Margret Gabrecht Fotografie
Laura Schelenz forscht an der Universität Tübingen zu ethischen und feministischen Perspektiven auf Technikentwicklung. Sie wurde 2023 in die Liste der „100 Brilliant Women in AI Ethics™“ aufgenommen.

Für eine diskriminierungsfreie KI braucht es mehr als technische Maßnahmen

Damit KI diskriminierungsfrei wird, bedarf es in den Augen von Schelenz einer mehrschichtigen Herangehensweise: „Eine staatliche Regulierung schafft den Rahmen. Technische Gegenmaßnahmen sind wichtig, aber es geht in der Designphase nicht ohne eine ethische Reflexion und die Einbeziehung von jenen Menschen, die mit den Algorithmen später konfrontiert sein werden.“

Dass technische Maßnahmen allein nicht ausreichen, zu diesem Schluss kommen auch Forschende der Universität Münster in einem Übersichtsbeitrag zum KI-Einsatz im Versicherungswesen. Die Technik sei zwar insoweit ausgereift, dass sich mit ihr die Voreingenommenheit von Algorithmen minimieren lasse, sie könne jedoch „niemals gänzlich ausgeschlossen werden“, weil auch bei der Korrektur mit Wahrscheinlichkeiten gearbeitet werde und die Kontrollalgorithmen immer an das Analyseszenario anzupassen seien. Mit anderen Worten: Auch der Kontrollmechanismus beurteilt die KI-Ergebnisse, ohne dass er den Kontext einer Situation erkennt und macht daher womöglich Fehler. Angesichts dieser Situation ziehen die Forschenden für technische Gegenmaßnahmen eine Analogie zum unternehmerischen Risiko-Management: Auch dieses Risiko lasse sich nie vollkommen eliminieren, sondern nur durch geeignete Maßnahmen erkennen, steuern und überwachen.

Die Forschenden nennen drei Ansatzpunkte für technische Maßnahmen. Erstens: Ein Kontrollalgorithmus prüft bereits vor dem Training die Daten und beseitigt etwaige Voreingenommenheit. Zweitens: Die KI wird während des Trainings gezwungen, fair zu bleiben – etwa indem die Bevorzugung unfairer Ergebnisse immense fiktive Kosten verursacht, die zuvor als Prüfgröße definiert wurden. Drittens: Ein Kontrollalgorithmus untersucht und korrigiert die Ergebnisse der KI auf Voreingenommenheit.

„Panel der Vielfalt“ sollte KI-Einführung begleiten

Wie sich eine KI durch organisatorische Maßnahmen diversitätssensibel machen lässt, hat ein vom Bundesministerium für Arbeit und Soziales gefördertes Projekt in den vergangenen drei Jahren untersucht. An KIDD (KI im Dienste der Diversität) waren acht Unternehmen, Organisationen und Forschungseinrichtungen beteiligt. Die Ergebnisse stehen nun interessierten Unternehmen zur Verfügung.

Zentral ist im KIDD-Ansatz das „Panel der Vielfalt“: ein innerbetriebliches Gremium, das als Gegengewicht zum Softwareanbieter beziehungsweise der IT-Abteilung fungiert. Teil dieses Gremiums sollen Menschen sein, die relevante betriebliche Interessen repräsentieren. Das KIDD-Handbuch nennt den Betriebsrat, die Beauftragten für Diversity, Gleichstellung, Behinderung und Datenschutz, des Weiteren die Personalabteilung, die Nutzenden sowie die unmittelbar von den KI-Ergebnissen Betroffenen. Wichtig sei eine Auswahl nach „relevanten Vielfalts- und potenziellen Diskriminierungskriterien“. Das Panel begleitet die KI-Einführung dann in einem definierten Prozess. Im operativen Betrieb obliegt ihm das regelmäßige Monitoring, um Fehler zu beheben.

Wichtig ist es laut Laura Schelenz, Entwicklungsteams nicht einfach um Minderheiten zu erweitern und jenen quasi die Last aufzuerlegen, die „Diversity-Probleme einer KI“ zu lösen. „Besser ist es, wenn alle Teammitglieder Diversity-Trainings absolvieren und es als gemeinsame Aufgabe betrachten, KI weniger diskriminierend zu machen“, sagt sie.

Wobei der Wissenschaftlerin durch ihre Forschung prinzipielle Bedenken gekommen sind: „In KI steckt inhärent eine Logik der Klassifizierung und Überwachung. Der Versuch, in einer KI diversitätssensible Kriterien zu verankern, schafft oft neue Probleme, weil Menschen hierfür zum Beispiel zusätzliche Daten preisgeben müssen.“