Der EU AI Act ist in Kraft: Ist Ihre KI diskriminierungsfrei?

Praxisbeispiele für diskriminierende KI

KI-Bias ist kein theoretisches Problem, sondern hat bereits in der Praxis zu erheblichen Konsequenzen geführt:

• Amazon-Rekrutierungstool: Ein KI-System zur Bewerberauswahl bevorzugte männliche Kandidaten, da es auf historischen Daten aus einer männerdominierten Branche trainiert wurde. Lebensläufe mit dem Wort „Frau“ wurden systematisch abgewertet
  
  
• Gesundheitswesen: Ein KI-System zur Hautkrebs-Erkennung wurde überwiegend mit Bildern von hellhäutigen Personen trainiert. Dadurch konnte es bösartige Hautveränderungen bei dunkelhäutigen Menschen deutlich schlechter erkennen. 
  
  
• Gesichtserkennung: Studien zeigten, dass viele Systeme bei der Identifikation von Frauen sowie von „People of Color“ deutlich höhere Fehlerquoten aufweisen - ein Problem, das auf unausgewogene Trainingsdaten zurückzuführen ist
  
  
• Online-Werbung: Eine Untersuchung der Carnegie Mellon University ergab, dass Männern häufiger Anzeigen für hochbezahlte Jobs gezeigt wurden als Frauen - ein Beispiel für algorithmische Diskriminierung im digitalen Raum
  
  
• Geschlechterdiskriminierung bei Kreditlimits: Im Jahr 2019 erhielten Frauen bei der Apple Card – einer Kreditkarte von Apple und Goldman Sachs – signifikant niedrigere Kreditlinien als Männer, obwohl Einkommen und Bonität vergleichbar waren. Die Ursache lag idR. in indirekten Stellvertretermerkmalen wie Haushaltsstruktur oder Konsumverhalten, die das KI-Modell diskriminierend bewertete.
  
  
• IRS-Algorithmus diskriminiert Schwarze Steuerzahler: Eine Studie des Stanford Institute for Economic Policy Research zeigte, dass Schwarze Steuerzahler, die den Earned Income Tax Credit (EITC) beantragen, 3- bis 5-mal häufiger vom US-Finanzamt (IRS) geprüft werden als andere Gruppen.

Ursachen von Bias im KI-Lebenszyklus

Bias kann in jeder Phase des KI-Lebenszyklus entstehen:

• Datenbias: Häufigster Grund. Wenn Trainingsdaten bestimmte Gruppen überrepräsentieren oder historische Vorurteile enthalten.
  
  
• Algorithmische Bias: Wenn die Modellarchitektur bestimmte Merkmale bevorzugt oder verstärkt, z.B. die Anwendung bestimmter mathematischer Funktionen kann zur Diskriminierung bestimmter Datenpopulationen führen – dadurch werden bspw. bestimmte Ausprägungen häufiger bevorzugt bzw. vernachlässigt.
  
  
• Menschliche Voreingenommenheit: Entwickler:innen bringen unbewusst ihre eigenen Vorurteile in die Systemgestaltung (Auswahl der Modelle, Trainingsansätze für die Modelle) ein. Weiters können auch Trainingsdaten manuell „gestaltet“ werden, wodurch ebenfalls eine Diskriminierung durch das Modell hervorgerufen werden könnte.

Besonders kritisch ist dies in sensiblen Bereichen wie Gesundheitswesen, Strafverfolgung, Kreditvergaben oder bspw. Auswahlprozesse bei Universitätsbewerbungen, wo auf Basis von KI-Ergebnissen Entscheidungen getroffen werden, welche direkte Auswirkungen auf Menschen haben.

Was sind die Konsequenzen?

Neben gesellschaftlichen Folgen, etwa der systematischen Benachteiligung marginalisierter Gruppen, ergeben sich auch direkte Risiken für Unternehmen:

• Rechtliche Risiken: Diskriminierende Entscheidungen können gegen Antidiskriminierungsgesetze verstoßen. Diskriminierung durch KI kann in Österreich gegen das Gleichbehandlungsgesetz (GlBG) verstoßen, das Schutz vor Benachteiligung aufgrund von Geschlecht, Herkunft, Religion, Alter oder sexueller Orientierung bietet. Auf EU-Ebene greifen die Datenschutz-Grundverordnung (DSGVO) - insbesondere Artikel 22 zum Schutz vor automatisierten Entscheidungen - sowie die neue EU KI-Verordnung (AI Act). Letztere sieht bei Verstößen gegen zentrale Vorschriften empfindliche Geldbußen vor: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes eines Unternehmens bei besonders schweren Verstößen, etwa bei diskriminierenden KI-Praktiken.
  
  
• Reputationsrisiken: Unternehmen, die diskriminierende KI einsetzen, verlieren nicht nur das Vertrauen von Nutzer:innen sondern riskieren auch negative mediale Berichterstattung.

Diese Konsequenzen trägt nicht die KI - Die Verantwortung für diskriminierende KI liegt dabei nicht nur bei den Entwickler:innen, sondern insbesondere bei den Betreiber:innen und Anwender:innen. Besonders verdeutlicht dies Artikel 5 Absatz 1 lit c des EU AI Acts, der den Einsatz von KI zur Bewertung von Menschen auf Basis ihrer persönlicher Eigenschaften ausdrücklich verbietet („Folgende Praktiken im KI-Bereich sind verboten: […] das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Einstufung von natürlichen Personen […] auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale […]“).

(Verpflichtende) Maßnahmen gegen Bias von KI-Systemen

Die verpflichtende Schulung von Mitarbeitenden reicht nicht aus. Für diskriminierungsfreie KI sind weiterführende Maßnahmen erforderlich, lt. Artikel 10 des AI-Acts sogar verpflichtend für Hochrisiko-KI Systeme, wie beispielsweise Recruiting-Tools oder Kreditwürdigkeitsprüfungen.

• Fairness-Metriken und Berichte: Regelmäßige Überprüfung der Modellleistung auf Verzerrungen. Dabei wird analysiert, wie oft die KI bei verschiedenen Personengruppen „Fehler“ macht. Wenn eine bestimmte Gruppe deutlich häufiger falsch bewertet wird, kann das ein Hinweis auf ein verzerrtes Modell sein. Die Metriken (bspw. „Demographic Parity“, „Equal Opportunity“) wenden spezielle Kennzahlen an, um die Ungleichheiten sichtbar zu machen.
  
  
• Transparenz und Erklärbarkeit: KI sollte erklären können, warum sie eine bestimmte Entscheidung getroffen hat. Mit Methoden der erklärbaren KI (XAI – explainable AI) werden die Bedeutung einzelner Merkmale analysiert, um nachzuvollziehen, welche Faktoren eine Entscheidung beeinflusst haben – und ob diese Faktoren fair sind.
  
  
• Corporate Governance: Klare Richtlinien und Verantwortlichkeiten im Umgang mit KI, sowohl für die Entwicklung als auch für die Anwendung von KI-Systemen.
  Wie können wir helfen?

Werden KI-Systeme für Unternehmenszwecke eingesetzt, trägt das Unternehmen Verantwortung für diskriminierungsfreie Ergebnisse. Grant Thornton Austria begleitet Sie hinsichtlich relevanter Fairness-Aspekte sowie potenzieller Governance-Ansätze für einen verantwortungsvollen Einsatz von KI.

Fazit

Fairness ist kein „Nice-to-have“, sondern eine rechtliche Notwendigkeit für KI-Anwendungen.

Es liegt in der Verantwortung von Unternehmen, sicherzustellen, dass Technologie alle Menschen gleichbehandelt: unabhängig von Geschlecht, Herkunft oder sozialem Status. Nicht nur aus Überzeugung, sondern auch aufgrund klarer gesetzlicher Vorgaben wie dem EU AI Act, der diskriminierende KI-Systeme ausdrücklich verbietet und bei Verstößen empfindliche Sanktionen vorsieht.