A. Zusammenfassung
Die Europäische Kommission hat den ersten Entwurf der Leitlinien für die Einstufung von Hochrisiko-KI-Systemen (im Folgenden: Leitlinien-Entwurf) veröffentlicht, die gemäß Art. 6 Abs. 5 KI-Verordnung[1] eine umfassende Liste praktischer Beispiele für Anwendungsfälle von Hochrisiko-KI beinhalten soll. Hochrisiko-KI-Systeme sind solche, die Risiken für Grundrechte und Grundfreiheiten beinhalten, worunter auch die Geschlechtergleichstellung fällt (Erwägungsgrund 48 KI-Verordnung).
Der Deutsche Juristinnenbund e.V. (djb) begrüßt, dass der Leitlinien-Entwurf mit Blick auf Diskriminierungsmuster (z.B. Rn. 207) und als benachteiligte Gruppen (Rn. 237, 268) auch Frauen benennt. Gleichwohl schützt der Entwurf nicht ausreichend vor Diskriminierung durch KI-Systeme.
Daher fordert der djb:
Mittelbare Diskriminierung ist durch stärkere Beachtung von Proxy-Variablen zu verhindern.
Das Merkmal „Geschlecht“ ist durchgehend als sensibles Merkmal zu erfassen.
Es ist sicherzustellen, dass der Diskriminierungsschutz nicht durch den Selbsteinschätzungsmechanismus nach Art. 6 Abs. 3 KI-Verordnung untergraben wird.
B. Grundlegendes zu den Hochrisiko-KI-Leitlinien
Die KI-Verordnung gilt als erster umfassender Rechtsrahmen für KI, der Risiken begrenzen und gleichzeitig Innovation ermöglichen soll. Je größer die möglichen Gefahren eines KI-Systems für Sicherheit, Grundrechte oder gesellschaftliche Teilhabe sind, desto strenger sind die rechtlichen Anforderungen an dieses System (sog. risikobasierter Ansatz). Besonders wichtig ist die Kategorie der Hochrisiko-KI-Systeme (Art. 6 KI-Verordnung). Darunter fallen bestimmte Anwendungen in sensiblen Bereichen wie kritischer Infrastruktur, Bildung, Beschäftigung oder dem Zugang zu wichtigen öffentlichen und privaten Dienstleistungen. Für solche Systeme gelten besondere Pflichten wie Risikomanagement, technische Dokumentation, Transparenz, menschliche Aufsicht und Aufzeichnungspflichten (Art. 8 ff. KI-Verordnung).
Die Hochrisiko-KI-Leitlinien sind nicht verbindlich, sondern unterstützen Unternehmen, gefährliche oder besonders folgenreiche KI-Anwendungen zu erkennen und sicherzustellen, dass sie den Anforderungen der KI-Verordnung entsprechend kontrolliert sowie transparent und verantwortungsvoll eingesetzt werden. Sie stellen die Einschätzung der Kommission dar, wann ein KI-System als „hochriskant“ einzustufen ist.
C. Zu Proxy Variablen
Der djb begrüßt es, dass mit Blick auf Diskriminierungsmuster oft auch Frauen (z.B. Rn. 207) benannt werden. Dabei verkennt der Leitlinien-Entwurf jedoch, dass Diskriminierung nicht nur direkt, sondern auch indirekt, also mittelbar, erfolgen kann. Eine mittelbare Diskriminierung liegt vor, wenn scheinbar neutrale Kriterien verwendet werden, die Rückschlüsse auf das Geschlecht geben und eine Person aufgrund dessen benachteiligen.[2] Dies geschieht durch sog. Proxy-Variablen, also scheinbar neutrale Ersatzvariablen, die einen Rückschluss auf geschützte Merkmale wie das Geschlecht ermöglichen.
Im Kontext von KI und Hochrisiko-Systemen ist die Berücksichtigung von potenzieller Proxy-Diskriminierung besonders wichtig, weil ein KI-System sensible Informationen aus Proxy-Variablen indirekt nutzen kann. So kann ein KI-System z.B. einen Rückschluss auf das Merkmal „Geschlecht“ oder „Frau“ (geschütztes Merkmal) ziehen, wenn eine Bewerberin in ihrem Lebenslauf angibt, einen weiblich gelesenen Vornamen zu haben, in der „Kindererziehung“ tätig zu sein oder auf einer „Mädchenschule“ gewesen zu sein.
Wie die folgenden Beispiele zeigen, nimmt die Kommission diese Form der Benachteiligung nicht konsequent in den Blick. Bei der Einstufung eines KI-Systems als Hochrisiko-KI, erfasst der Leitlinien-Entwurf geschlechtsspezifische Auswirkungen und mittelbare Diskriminierungsrisiken nicht ausreichend. Dies birgt die Gefahr, dass die Unternehmen bei der Einschätzung, ob es sich um ein Hochrisiko-KI-System handelt oder nicht, geschlechtsspezifische Faktoren nicht oder nur unzureichend berücksichtigen werden.
I. Recruiting-Systeme (Anhang III Nr. 4a)
Bei Recruiting-Systemen nach Anhang III Nr. 4a des Leitlinien-Entwurfs gelten KI-Systeme, die Stellenanzeigen algorithmisch platzieren, grundsätzlich als Hochrisiko-KI-Systeme. Eine Ausnahme kommt nur in Betracht, wenn die Platzierung „unmittelbar auf nichtdiskriminierenden, objektiven und angemessenen Kriterien“ beruht, die zwingende Anforderungen der jeweiligen Stellenbeschreibung sind (Rn. 252). Das KI-System darf also beispielsweise Stellenangebote nur deshalb bestimmten Personen anzeigen, weil diese über eine für die Stelle unabdingbare Qualifikation verfügen (z.B. ein bestimmter Abschluss oder Ausbildungsnachweis).
Es bleibt unklar, wann solche Kriterien „unmittelbar auf nichtdiskriminierenden, objektiven und angemessenen“ sind und kann dazu führen, dass mittelbare Diskriminierung ermöglicht wird. Es besteht nämlich die Gefahr, dass Frauen faktisch von männlich geprägten Berufsfeldern ausgeschlossen werden. So kann die KI z.B. historische Bewerbungsdaten auswerten und anhand dieser scheinbar objektiven Kriterien feststellen, dass sich auf Stellen für Softwareentwicklung bisher überwiegend Männer und auf Pflegeberufe überwiegend Frauen beworben haben und entsprechende Stellenanzeigen gezielt nur Männern oder nur Frauen schaltet. Selbst wenn das Geschlecht nicht ausdrücklich als Kriterium verwendet und somit der Eindruck erweckt wird, die KI agiere nicht auf Grundlage diskriminierender Kriterien, können das Geschlecht stellvertretende Daten (z. B. bisherige Berufserfahrung oder Interessen) zu einer mittelbaren Diskriminierung führen. Dies führt dazu, dass Frauen von männlich geprägten Berufsfeldern ausgeschlossen werden.
II. Verhaltensanalyse am Arbeitsplatz (Anhang III Nr. 4b)
Im Bereich der Verhaltensanalyse am Arbeitsplatz nach Anhang III Nr. 4b des Entwurfs kann ein Ausschluss als Hochrisiko-KI in Betracht kommen, wenn ausschließlich objektive und neutrale Faktoren herangezogen werden. Der Entwurf nennt dazu beispielhaft „die Verfügbarkeit“ (Rn. 272). Dies kann sich jedoch diskriminierend auswirken. Das scheinbar neutrale Kriterium der „Verfügbarkeit“ ist aufgrund ungleich verteilter Care-Arbeit tatsächlich geschlechtsspezifisch. Frauen leisten in Deutschland nach wie vor mehr Care-Arbeit als Männer,[3] sodass es sich bei dem Kriterium „Verfügbarkeit“ keineswegs um ein diskriminierungsfreies Kriterium handelt.
III. Kreditbewertungssysteme (Anhang III Nr. 5b)
Bei Kreditbewertungssystemen nach Anhang III Nr. 5b des Entwurfs verweist die Kommission hinsichtlich der Bonitätsprüfung exemplarisch auf demografische Daten, wie Alter, Bildungsniveau oder Wohnort, und/oder auf Finanzdaten, einschließlich des Zahlungsverhaltens, der Kredithistorie sowie Einkommens- und sonstiger finanzieller Kennzahlen (Rn. 296).
Hier wird jedoch nicht auf geschlechtsspezifische Risiken wie Erwerbsunterbrechungen oder Einkommenshistorie verwiesen. Diese Kriterien fördern als Proxy-Variablen mittelbare, geschlechtsspezifische Diskriminierungen. Sie bedürfen daher aus Sicht von KI-Anbietern besonderer Sensibilität: Erwerbsunterbrechungen, insbesondere wegen Schwangerschaft, Elternzeit oder Pflegearbeit, sind nicht geschlechtsneutral. Sie stehen in engem Zusammenhang mit dem Gender Pay Gap[4], weil Frauen häufiger unbezahlte Sorgearbeit übernehmen, häufiger Erwerbsbiografien unterbrechen und dadurch geringere Einkommen sowie lückenhafte Einkommenshistorien aufweisen. Werden diese Daten verarbeitet, werden regelmäßig Frauen systematisch schlechter bewertet oder vom Zugang zu Finanzleistungen ausgeschlossen, auch wenn die KI nicht auf Geschlecht Bezug nimmt.
IV. Bewertung für Krankenkassen und Lebensversicherungen (Anhang III Nr. 5b)
Bei KI-Systemen zur Risikoabschätzung und Preisbildung im Bereich von Kranken- und Lebensversicherungen nach Anhang III Nr. 5b des Entwurfs werden geschlechtsbezogene Merkmale nicht ausdrücklich als relevante Klassifizierungskriterien für das Vorliegen der Risikobewertung und der Bewertung von Prämien genannt (Rn. 311 ff.).
Eine Risikobewertung liegt vor, wenn das KI-System das individuelle Risikoprofil einer Person analysiert, um Entscheidungen darüber zu treffen, z.B. ob eine Versicherung angeboten oder abgelehnt wird. Die Prämienberechnung umfasst den Einsatz von KI zur Bestimmung der Höhe der Versicherungsprämie. Damit besteht auch hier die Möglichkeit, dass KI-Anbieter geschlechtsspezifische Faktoren nicht hinreichend berücksichtigen, obwohl sie für mögliche unmittelbare (z.B. durch „Schwangerschaft“[5]) oder mittelbare Diskriminierungsrisiken (z.B. durch „BMI“, „Körpergröße“ oder bestimmte Krankheiten, die häufiger oder ausschließlich bei Frauen auftreten, wie etwa Mamma- oder Ovarialkarzinome) wesentlich sein können. Beispielsweise könnte ein KI-System Frauen in der fertilen Lebensphase mit höheren Gesundheitskosten einstufen und höhere Prämien berechnen. Dies hat erhebliche Auswirkungen auf den Zugang zu Versicherungsleistungen und deren Kosten für Frauen. Der Faktor “Geschlecht” darf bei der Berechnung von Versicherungsprämien und -leistungen nicht zu unterschiedlichen Ergebnissen führen (Art. 5 Abs. 1 der Gleichstellungsrichtlinie) und nicht durch die Berücksichtigung anderer Faktoren umgangen werden.
D. Geschlecht als sensibles Merkmal aufnehmen
Für die Einstufung biometrischer Kategorisierungssysteme als Hochrisiko-KI wird in der KI-Verordnung maßgeblich auf sensible Merkmale im Sinne von Art. 9 Abs. 1 DSGVO Bezug genommen (Rn. 126, 169, 170). Dadurch werden KI-Systeme als biometrisches Kategorisierungssystem eingestuft, das nach Art. 9 Abs. 1 DSGVO geschützte Merkmale, also die rassische oder ethnische Herkunft, politische Meinung, religiöse Überzeugung oder Gesundheit sowie Daten zum Sexualleben und zur sexuellen Orientierung berücksichtigt.
Die Bezugnahme auf Art. 9 Abs. 1 DSGVO ist jedoch nicht ausreichend, weil das Merkmal „Geschlecht“ nicht miteinbezogen wird. Damit werden KI-Systeme, die z.B. aus Gesichtsbildern das Geschlecht ableiten, nicht als hochrisikoreich eingestuft. Dementsprechend unterfällt beispielsweise ein KI-System, das für interaktive Werbetools Gesichtsbilder und weitere Merkmale von Personen analysiert, nicht dem Anwendungsbereich, obwohl es auf Grundlage des Geschlechts zielgruppenspezifische Werbung ausspielt. Dies hätte zur Folge, dass je nach Geschlecht systematisch Produkte anders bepreist werden. Das benachteiligt ausweislich bisheriger Studien mehrheitlich Frauen, die z.B. für Kosmetikprodukte oder Nahrungsergänzungsmittel, aber auch für Kleidung höhere Preise zahlen müssen als Männer.[6]
E. Prinzip der Selbsteinstufung nicht ausreichend
Art. 6 Abs. 3 KI-VO ermöglicht es den Anbietern von KI selbst, dass ein KI-System, das in einer der in Anhang III KI-VO aufgeführten Kategorien verwendet wird ausnahmsweise nicht als Hochrisiko-KI einzustufen ist. Voraussetzung dafür ist, dass es aus Sicht des KI-Anbieters kein “erhebliches Risiko” für Gesundheit, Sicherheit oder Grundrechte begründet (Rn. 71).
Diese Bewertung erfolgt durch den KI-Anbieter und gerade keinen unabhängigen Akteur und hat zur Folge, dass er bei In-Verkehr-Bringen der KI die strengen Regelungsanforderungen der Art. 8 ff. KI-VO nicht zu berücksichtigen hat, also dass z.B. Risikomanagementmaßnahmen nicht eingeführt und strenge Daten-Governance-Maßnahmen nicht durchgeführt werden müssen.
Dass die Einschätzung durch den KI-Anbieter selbst erfolgt, ist problematisch, weil dies ein erhebliches Missbrauchs- und Umgehungspotenzial birgt. Insbesondere Personengruppen, die häufiger von mittelbarer Benachteiligung betroffen sind als andere, erhalten damit keinen präventiven Schutz durch eine vorgelagerte unabhängige Kontrolle. Sie sind vielmehr auf die Einschätzung des KI-Anbieters und eine nachgelagerte Marktüberwachung angewiesen. Damit wird das Ziel der Leitlinien, mehr Rechtssicherheit bei der Einordnung als Hochrisiko-KI zu schaffen, nur begrenzt erreicht, wenn letztlich vor allem wiederholt wird, dass die Verantwortung für die Einstufung bei den Anbietern liegt. Daher wäre sicherzustellen, dass der Diskriminierungsschutz nicht durch den Selbsteinschätzungsmechanismus nach Art. 6 Abs. 3 KI-VO untergraben wird.
Theresia Rasche
Vorsitzende der Kommission Recht der digitalen Gesellschaft
[1] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz).
[2] Vgl. Art. 2 Abs. 2 lit. b Richtlinie 2006/54/EG zur Verwirklichung des Grundsatzes der Chancengleichheit und Gleichbehandlung von Männern und Frauen in Arbeits- und Beschäftigungsfragen (Neufassung).
[3] Hans-Böckler-Stiftung, Erwerbstätige Frauen leisten im Mittel acht Stunden mehr unbezahlte Arbeit pro Woche als Männer, v. 5.9.2024, abrufbar unter: https://www.boeckler.de/de/pressemitteilungen-2675-erwerbstaetige-frauen-leisten-mehr-unbezahlte-arbeit-als-maenner-63173.htm.
[4] Siehe dazu djb, Stillstand bei der Lohnlücke: djb fordert Regierung zum Handeln auf, Pressemitteilung v. 26.2.2026 m.w.N.
[5] EuGH, Urt. v. 8.11.1990 – C-177/88, Rn. 16 – Dekker/VJV-Centrum.
[6] Grundlegend zum Gender Pricing: van der Heiden/Wersing, Preisdifferenzierung nach Geschlecht in Deutschland, abrufbar unter: https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Expertisen/expertise_preisdifferenzierung_nach_geschlecht.pdf?__blob=publicationFile&v=6.
