Deep Learning macht KI-Systeme besonders sexistisch

Linzer Forscher zeigen, dass die Ergebnisse von Suchmaschinen, die Deep Learning nutzen, besonders sexistisch verzerrt sind.

Die Diskriminierung durch Algorithmen wurde in zahlreichen Studien belegt. Da werden Menschen mit Migrationshintergrund als weniger kreditwürdig eingestuft, von Polizeicomputern häufiger verdächtigt oder sie bekommen von sozialen Plattformen Angebote für schlechtere Jobs oder Wohnungen. Microsoft musste eine Chatbot-Software nach kurzer Zeit vom Netz nehmen, weil Nutzer sie dazu brachten, den Holocaust zu leugnen und Schwarze zu beleidigen.

In ihrer Studie haben Navid Rekab-Saz und Markus Schedl vom Institut für Computational Perception der Universität Linz und der Human-centered AI Gruppe des Linz Institute of Technology (LIT) AI Lab Modelle beziehungsweise Algorithmen analysiert, die in Suchmaschinen verwendet werden - basierend auf realen Suchanfragen. Sie werden ihre Ergebnisse im Juli bei einer Konferenz über Forschung zur Informationsbeschaffung mit Suchmaschinen (International ACM SIGIR Conference on Research and Development in Information Retrieval) vorstellen.

CEO = männlich, Pflegekraft = weiblich

Die Wissenschaftler haben in der Arbeit Such-Fragen in zwei Gruppen geteilt: Einerseits solche, die geschlechtsneutral sind und Antworten ohne Gender-Bias lieferten. Als Beispiel nennen die Forscher die Frage nach Römischen Kaisern. Die Antwort lieferte zwar nur Männer, weil es aber tatsächlich nur Männer auf den Thron schafften, gibt es auch bei der Antwort keine Verzerrung.

Die andere Gruppe bildeten Anfragen, die - zumindest im Englischen - nicht explizit geschlechtsspezifisch sind, etwa die Frage nach dem Einkommen einer Pflegekraft (der Begriff «nurse» steht im Englischen sowohl für Krankenpfleger als auch für Krankenpflegerin) oder die Frage nach einem Synonym für «schön».

Obwohl diese Fragen geschlechtsneutral sind, warfen die Suchmaschinen vor allem Antworten im Zusammenhang mit Frauen aus, Männer kamen erst weit hinten vor. Umgekehrt liefert etwa die Suche nach «CEO», also den Geschäftsführer eines Unternehmens, oder «Programmierer» überwiegend männlich ko-notierte Antworten.

Deep Learning verstärkt Diskriminierung

Es habe sich gezeigt, «dass gerade die neuesten Deep Learning-Algorithmen eine besonders ausgeprägte geschlechtsspezifische Verzerrung verursachen», sagte Rekab-Saz gegenüber der Nachrichtenagentur APA. Das habe einige Tragweite, würden doch solche Algorithmen seit kurzem von zwei der grössten Suchmaschinen - Google und Bing - eingesetzt.

Der Grund für die Verzerrung sei, dass jene Systeme, die Deep Learning nutzen, nicht nur nach dem Suchbegriff alleine suchen - also etwa «nurse» oder «CEO», sondern auch ähnliche Begriffe oder Themenbereiche. Im Fall «nurse» würden sie etwa auch «matron» (Oberschwester) mit einbeziehen. Dadurch tendierten sie zunehmend zur weiblichen Interpretation der Suchanfrage.

Der Hintergrund sei, dass die von Menschen gesammelten und aufbereiteten Daten, auf denen die KI basiert, bereits diese Tendenzen beinhalten, «die Suche der KI verstärkt nur den Effekt», so Rekab-Saz. In ihrer Studie haben die Experten den Geschlechter-Bias untersucht, sie sind sich aber sicher, dass solche Effekte auch in anderen Bereichen wie Alter, ethnische Zugehörigkeit oder Religion vorkommen.

KI nicht schlecht, nur schlecht programmiert

Für die Wissenschaftler ist das Ergebnis kein Grund dafür, KI abzulehnen, diese sei ein «enorm wertvolles Werkzeug». Das Ziel ihrer Gruppe sei es vielmehr, sich die Verzerrung von KI-Ergebnissen durch menschliche Vorurteile bewusst zu machen und bereits bei der Programmierung der Algorithmen zu berücksichtigen.

«Deep Learning ist ein Werkzeug, das zwei Seiten hat: Es kann einerseits einen bestimmten Bias intensivieren, wie das aktuelle Studienergebnis zeigt. Andererseits hat es so viel Flexibilität, dass wir auch bessere Modelle designen können, die explizit solche Verzerrungen vermeiden», sagte Rekab-Saz.

Die Arbeit wurde auf dem Preprint-Server «arXiv» veröffentlicht: https://arxiv.org/abs/2005.00372