Viele würden zustimmen: Computer und ihre Algorithmen sind objektiv, neutral und logisch. Sie haben keine Gefühle und folgen lediglich den Anweisungen, die wir ihnen gaben. Damit haben sie uns Menschen in einigen Bereichen viel voraus: Sie werden nicht müde, wenn sie repetitive Arbeiten ausführen. Sie können exakte Entscheidungen nach klaren Regeln treffen. Und sie werden dabei nie von ihren Gefühlen geleitet.
Wie Algorithmen diskriminieren
Damit scheinen Computer mit ihren Algorithmen prädestiniert, auch komplexe Entscheidungen über Menschen zu treffen. Egal ob es um die Einstellung neuer Mitarbeiter:innen oder Kreditwürdigkeit geht: Menschliche Entscheidungen sind diffus. Sie sind meist nicht nur höchst intransparent, sondern auch durch Voreingenommenheiten verzerrt, die unsere Hirnfunktion mitprägen.
Im Kontrast hierzu wirkt auf Computer kein Ähnlichkeits-Bias oder Halo-Effekt. Wo ein Mensch unwillkürlich über das Aussehen einer Person wertet und so die Entscheidung beeinflusst, bleibt ein Computer neutral. Klingt erstmal gut. Die Annahme lautet: Lösen nun Computer-Algorithmen menschliche Entscheidungen ab, so seien die Ergebnisse dadurch objektiv und fair.
Die Krux: Woher weiß der Computer, wie er entscheiden soll? Um so komplexe Entscheidungen zu treffen, muss ein Algorithmus große Datenmengen als Grundlage bekommen. Auf deren Basis kann er dann Aus- und Vorhersagen über ein Individuum oder dessen Zukunft treffen, woraus sich direkt eine Entscheidung ableiten lässt.
Und genau hier wird es problematisch: Die benötigten Daten stammen aus unserer „echten“ Welt, und die ist nun mal nicht neutral sondern unfair. Der Algorithmus basiert also auf den Informationen, die von Vorurteilen und Diskriminierungsverhalten geprägt sind, und zieht daraus seine Schlussfolgerungen [1]. Besonders gefährlich wird es dann, wenn diese Ergebnisse als neutral und objektiv aufgefasst werden, weil sie ja von einem vermeintlich neutralen Computer stammen.
Voreingenommene Computer-Systeme
Der „AMS-Algorithmus“ und Amazons Personal-Software
Ein bekanntes Beispiel für das Computer-Mensch-Dilemma in Sachen Voreingenommenheit ist der „AMS-Algorithmus“ des österreichischen Arbeitsmarktservices. Er soll Arbeitssuchende in drei Klassen einteilen, entsprechend welcher über den Umfang der Hilfeleistungen, die den Bewerber:innen angeboten werden, entschieden wird. Der AMS-Algorithmus berechnet, wie hoch die Chancen stehen, dass ein:e Arbeitssuchende:r einen neuen Job findet. Bei sehr hohen oder sehr geringen Chancen wird nur wenig Hilfe angeboten. So sollen Kapazitäten besser an diejenigen verteilt werden, bei denen sich ein größerer Effekt versprochen wird.
Als Basis der Bewertung gilt ein junger, männlicher, österreichischer Staatsbürger, der gesund ist und keine Betreuungspflichten hat. Ihm wird eine Integrationschance in den Arbeitsmarkt von ungefähr 50% zugeordnet. Weiterhin wird die Ausbildung, die Region und Kennzahlen zur vorherigen Berufskarriere berücksichtigt. Abweichungen einer sich bewerbenden Person von diesem Prototyp werden positiv oder negativ einberechnet. Damit wird dann auch die Hilfeleistung, auf die ein:e Kandidat:in Anspruch hat, verringert oder vergrößert.
Ungerechtigkeit wird in Software programmiert
Auswertungen zeigen: Allein der Fakt, dass eine arbeitssuchende Person weiblich ist, verringert ihre Chancen auf Integration in den Arbeitsmarkt und damit auch den Betrag ihres Hilfsgeldes. Hat sie zusätzlich noch eine Betreuungspflicht, also zum Beispiel ein Kind unter 10 Jahren, schrumpfen ihre Chancen weiter. Hat ein Mann solch eine Betreuungspflicht, ändert das seine Bewertung wiederum nicht.
Das Beispiel verdeutlicht, wie Algorithmen den Status Quo der Gesellschaft und damit auch menschliche Verzerrungsmuster weitertragen. Andere offensichtliche Kritikpunkte an solchen Modellen sind ihre Unterkomplexität und Intransparenz. Wer entscheidet, welche Informationen wichtig sind? Des Weiteren verschleiern sie den wichtigen Unterschied zwischen Korrelation und Zusammenhang: „Eine empirisch feststellbare Korrelation, z.B. zwischen dem weiblichen Geschlecht und einer geringeren Vermittlungschance in den Arbeitsmarkt, gibt jedoch keine Auskunft über einen ursächlichen Zusammenhang – insbesondere nicht auf individueller Ebene (2)“
Der AMS-Algorithmus ist nicht der einzige dieser Art. Auch große Unternehmen stehen immer wieder in der Kritik diskriminierende Software zu nutzen. Amazon setzte zum Beispiel jüngst eine Künstliche Intelligenz ein, um Bewerber:innen anhand ihrer Lebensläufe zu bewerten. Bei der Auswertung der Ergebnisse stellten Mitarbeiter:innen im Nachhinein fest, dass Phrasen, die das Wort „women’s“ enthalten, negativ eingestuft wurden.
Wie konnte das passieren? Die Grundlage der genutzten Software waren vergangene Bewerbungen der überwiegend männlichen Arbeiterschaft bei Amazon [3].
Ähnliche Effekte zeigen sich an vielen Stellen, an denen KI Menschen bewerten oder kategorisieren soll. Und das nicht nur in Bezug auf Geschlecht, sondern z.B. auch auf Race. Ein Algorithmus, der Gesichtserkennung hauptsächlich auf der Basis weisser Männer lernt, hat - es wird nicht überraschen - Probleme damit, Schwarze Frauen zu erkennen. Und zwar sehr deutliche Probleme: Eine Studie von 2018 zeigt, dass im Vergleich von drei Programmen zur Gesichtserkennung die maximale Fehlerrate bei der Erkennung weisser Männer bei 0,8% lag. Bei der Erkennung Schwarzer Frauen betrug sie ganze 34,7% [4].
Auch bei Übersetzungssoftware macht sich automatisierte Gender Bias bemerkbar. Wird beispielsweise eine Berufsbezeichnung aus einer Sprache ohne grammatikalische Geschlechter (in der sie also immer neutral ist) übersetzt, nutzen Übersetzungsprogramme nicht nur das generische Maskulinum, sondern schreiben je nach Beruf unterschiedliche Geschlechter zu: die Krankenschwester, die Kindergärtnerin, die Bäckerin, aber der Geschäftsführer, der Wissenschaftler, der Lehrer. Die Implikationen sprechen für sich [5].
Beispiele wie AMS und Amazon zeigen, wie gefährlich der Einsatz von Algorithmen bei Entscheidungen über Menschen ist. Anstatt sich mit den Individuen zu beschäftigen, um die es geht, werden einige wenige Merkmale herangezogen und Kategorien abgebildet, in die die Menschen eingeordnet werden. Das kann Verzerrungen verstärken und Ungerechtigkeiten reproduzieren.
Voreingenommenheiten sichtbar machen
Wie anhand der Beispiele klar sein dürfte, reproduzieren Algorithmen lediglich, was wir ihnen zeigen. Damit helfen sie ungemein, Diskriminierung sichtbar zu machen. Während wir menschliche Entscheidungen nur schwer prüfen können, zeichnen Algorithmen ein sehr klares Bild unserer Gesellschaft und können uns auf diese Weise sogar helfen, diese Probleme gezielt anzugehen. Die angeführten Beispiele haben ein solch struktuelles Ausmaß gehabt, dass die beteiligten Organisationen stark in der Kritik standen und damit eine wichtige Diskussion angezettelt wurde.
Hendrik Wölert ist Student des Studiengangs IT-Systems Engineering am Hasso-Plattner-Institut. Er beschäftigt sich mit den Auswirkungen des technologischen Fortschritts auf unser Zusammenleben.
(1) https://jusletter.weblaw.ch/fr/dam/publicationsystem/articles/jusletter/2018/959/wenn- algorithmen-%28un_b986e22c84/Jusletter_wenn-algorithmen-%28un_b986e22c84_fr.pdf (2) https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/EN/publikationen/ Studie_en_Diskriminierungsrisiken_durch_Verwendung_von_Algorithmen.pdf? __blob=publicationFile&v=2
(4) Buolamwini, Joy, und Timnit Gebru. „Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification“. Proceedings of Machine Learning Research 81 (2018): 1–15
(5) Costa Avelar, Pedro Henrique da, und Luis C. Lamb. „Assessing gender bias in machine translation: a case study with Google Translate“. Neural Computing and Applications 32, Nr. 10 (Mai 2020): 6363–81. https://doi.org/10.1007/s00521-019-04144-6.