Ungewollte Diskriminierung und Verzerrung können durch viele Effekte in ein algorithmisches System gelangen. Die beiden wesentlichen Elemente sind dabei die zur Entwicklung verwendeten Daten sowie die Gesamtheit der eingesetzten datenverarbeitenden Algorithmen. Es sind verschiedene Situationen zu unterscheiden, die gemeinsam, aber auch einzeln, auftreten können.
Direkte Verwendung einer diskriminierenden Information im Algorithmus.
Im Fall, dass eine diskriminierende Information im Anwendungsgebiet wichtig für eine korrekte Datenverarbeitung ist, darf und muss diese verwendet werden. Beispielsweise müssen viele Systeme zur Krankheitsdiagnose das Geschlecht oder das Alter eines Patienten kennen und berücksichtigen. Auch für die Umsetzung von Geschäftsstrategien, etwa dem Ausbau des Geschäftes in einer Altersgruppe, Berufsgruppe oder einer Region, können diskriminierende Merkmale im Rahmen einer Geschäftsentscheidung Verwendung finden, wenn sie beispielsweise ein Kundensegment definieren, für das vereinfachte Annahmekriterien gelten.
Indirekte Verwendung diskriminierender Information im Algorithmus.
Selbst wenn ein algorithmisches System keine direkt diskriminierende Information verwendet, können diskriminierende Effekte auftreten. Dies kann dann der Fall sein, wenn andere Informationen die diskriminierende Information indirekt kodieren. Ein einfaches Beispiel ist das freie Haushaltseinkommen, das beispielsweise im Rahmen der Schätzung der Kreditwürdigkeit verwendet wird. Das freie Haushaltseinkommen ist hochkorreliert zum Haushaltseinkommen. Und der Fakt, dass das erzielte Einkommen in Deutschland für die Geschlechter im Mittel unterschiedlich ausfällt, spiegelt sich im Haushaltseinkommen wider. In der Folge kann ein algorithmisches System, welches das freie Haushaltseinkommen verwendet, zu unterschiedlichen Verteilungen der Schätzungen für Männer und Frauen gelangen. Dies macht deutlich, dass die Technologie nicht einen gesellschaftlichen Missstand – das unterschiedliche Einkommen für Männer und Frauen – beseitigt. Jedoch bieten algorithmische Systeme eine Möglichkeit, mehr Transparenz für das tatsächliche Ausmaß diverser indirekter Effekte zu schaffen.
Ungenügende Repräsentativität in den Entwicklungsdaten.
Selbst wenn in der Datenverarbeitung weder auf direkte noch indirekt diskriminierende Informationen zurückgegriffen wird, kann es zu Diskriminierung und Verzerrungen kommen. Ursächlich hierfür kann eine ungenügende Repräsentativität oder eine geringe Fallzahl einer gesellschaftlichen Gruppe in den Entwicklungsdaten sein. Eine Unterrepräsentanz einer an sich großen Personengruppe kann dazu führen, dass Spezifika einer Gruppe im Rahmen der Entwicklung nicht ausreichend erkannt und damit berücksichtigt werden. Durch eine verbesserte Datenbasis können diese Effekte vermindert werden. Für Minoritäten, die auch in der Gesamtpopulation nur eine limitierte Anzahl von Personen umfasst, kann nur durch weitere flankierende Maßnahmen, etwa gesonderte Regeln bis hin zum Aussteuern der automatischen Datenverarbeitung, eine Verbesserung erzielt werden.
Herausforderung der Vermeidung und Nachweis für Verantwortlichen.
Die Möglichkeiten eines Verantwortlichen, sich für ein algorithmisches System im Rahmen der Entwicklung und durch ein Überwachen des produktiven Systems ein Bild über eventuell auftretende ungewollte Diskriminierungseffekte zu machen, sind durch die Einschränkung in der Erhebung und Speicherung der diskriminierenden Merkmale wie Alter und Geschlecht Grenzen gesetzt (Art. 9 DSGVO). In vielen Fällen liegen die Informationen daher nicht vor, und es ist nicht möglich, etwaige Effekte festzustellen. Damit ist es den Verantwortlichen nicht möglich, selbst etwaigen Effekten gegenzusteuern. Von Nutzern geäußerten Vorwürfen, kann weder nachgegangen noch widersprochen werden. Es ist dringend anzuraten, die Regelung des Datenschutzes hier soweit anzupassen, dass aktive und wirksame Anti-Diskriminierungsmaßnahmen von Systemverantwortlichen auch ergriffen werden können.
Autorin: Christin Schäfer
Erscheinungsdatum: 20.03.2020