Stellungnahme: 21-14


zum Entwurf einer EU-Verordnung „zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung bestimmter Rechtsakte der Union“ vom 21. April 2021

Stellungnahme vom

Der Deutsche Juristinnenbund e.V. (djb) ergreift gern die Gelegenheit, sich zum aktuellen Entwurf der EU-Verordnung zur Künstlichen Intelligenz[1] (EU-VO KI) zu positionieren. Bereits in seiner Stellungnahme vom 22. Mai 2020[2] zum KI-Weißbuch der EU-Kommission[3] hat er begrüßt, dass die EU-Kommission einen EU-einheitlichen Regulierungsrahmen für den Einsatz von künstlicher Intelligenz (KI) auf der Grundlage eines wertebasierten Ansatzes schaffen möchte. Allerdings bemerkt der djb mit Sorge, dass im Textentwurf der EU-VO KI der Begriff „Geschlecht“ nicht vorkommt, während im Weißbuch mögliche Diskriminierungen wegen des Geschlechts noch explizit benannt wurden.[4]

Der djb schließt sich den Analysen und Forderungen im Sachverständigengutachten "Digitalisierung geschlechtergerecht gestalten"[5] zum 3. Gleichstellungsbericht der Bundesregierung an. Das Gutachten ist unverzichtbare Grundlage für eine Digitalpolitik, die gleichstellungspolitischen Anforderungen genügen will, und entfaltet auch bei der anstehenden EU-VO KI Relevanz.

Der djb sieht in der notwendigen Regulierung von KI eine der größten Herausforderungen der kommenden Jahre, die zudem darüber entscheiden wird, ob bisherige gleichstellungspolitische Erfolge bewahrt und eine Umsetzung des staatlichen Handlungsauftrags aus Art. 3 Abs. 2 GG weiter vorangetrieben werden können. KI-Systeme leiten Zukunftsentscheidungen aus historischen Daten einer geschlechterungerechten Gesellschaft her. Solche Technik kann nur geschlechtergerecht eingesetzt werden, wenn der Aspekt "Geschlecht" in der Regulierung besondere Beachtung erfährt.

Der djb fordert eine KI "made in Europe", die bei der Regulierung von KI-Systemen das Diskriminierungsrisiko erkennt und das Gleichstellungspotenzial nutzt.

 

Die für den djb wichtigsten Forderungen zum jetzt vorgelegten Entwurf der EU-VO KI sind:

1. Soziotechnischen Ansatz in der Informations- und Kommunikations-Industrie durchsetzen

KI-Technologien müssen mit einem "soziotechnischen Ansatz", wie er in dem Gutachten zum Dritten Gleichstellungsbericht dargestellt worden ist,[6] analysiert, bewertet, reguliert und evaluiert werden. D.h., politische Rahmenbedingungen, Interessen und Einflussnahmen beteiligter Organisationen, Wertvorstellungen beteiligter Personen sowie soziale, ökonomische und ökologische Folgen des Technikeinsatzes müssen mitbedacht werden und zwingend in Entscheidungen über Entwicklung, Förderung und Anwendung der Technologien einfließen.

Um das zentrale Ziel der EU-VO, eine „vertrauenswürdige KI“ zu schaffen, zu verwirklichen, hat an erster Stelle die Erkenntnis zu stehen, dass die Wahrung der Rechte und Interessen von Frauen und diskriminierungsgefährdeten Personen in der Regel nicht durch herkömmliche technische Entwicklungs- und Produktionsprozesse der Informations- und Kommunikations-Industrie gegeben ist. Vielmehr ist bei den Umsetzungs- und Durchsetzungsmaßnahmen in der EU-VO KI durch die beteiligten Unternehmen, Behörden und Organisationen sicherzustellen, dass digitale Technikkompetenz mit soziologischer und Genderkompetenz gekoppelt wird. (Das Gutachten spricht hier von den sog. "gender- und digitalisierungs-bezogenen Kompetenzen im soziotechnischen Ansatz".)

2. Geschlechtersensible Diversifizierung von Datensets

Aus gleichstellungspolitischer Sicht ergeben sich im Bereich KI zwei grundsätzliche Probleme, die sich auf die Datengrundlagen beziehen:

Werden Entscheidungen durch oder auf Grundlage von KI getroffen, für die geschlechtsbezogene Daten relevant sind, ohne dass diesen Entscheidungen geschlechtsbezogene Daten zugrunde liegen, werden die Lebenswirklichkeit, die Interessen und Bedürfnisse von Frauen und weiblich gelesenen Personen nicht berücksichtigt. Damit ist die Wahrscheinlichkeit einer Diskriminierung signifikant erhöht. So werden etwa in den Bereichen Gesundheitswesen und Pflege nicht ausreichend Daten nach Geschlecht erfasst. Nur so ist es jedoch möglich, geschlechtsspezifische Unterschiede beispielsweise in Bezug auf Krankheitssymptome, Therapieerfolge sowie Dosierung und Nebenwirkungen von Medikamenten zu erkennen[7] und dann auch im Rahmen von KI-Anwendungen im Gesundheits- und Pflegebereich angemessen zu berücksichtigen.

Werden Entscheidungen getroffen, für die geschlechtsbezogene Daten keine Relevanz haben dürfen, bei denen die zugrunde gelegten Daten aber bereits einen unsichtbaren geschlechtsbezogenen Bias in sich tragen – was als Regelfall anzunehmen ist – wird Diskriminierung bestätigt und fortgeschrieben. Dies ist zum Beispiel ein bekanntes Problem von KI-Systemen, die eingesetzt werden, um Stellenbewerbungen zu evaluieren[8] oder Stellenanzeigen auszuspielen.[9]

Geschlechtsbezogene Datenerfassungen und -analysen sind in beiden Szenarien zur Diskriminierungsbekämpfung notwendig. Die damit verbundene Grundrechtsrelevanz macht es erforderlich, diese Aspekte bei der Schaffung der rechtlichen Rahmenbedingungen mitzudenken und durch rechtsstaatliche Regelungen auszuformen. Dabei gilt, dass geschlechtsbezogene Datenerhebungen Personen grundsätzlich zwingen, sich einer vordefinierten Geschlechtsausprägung zuzuordnen, so dass immer Grundrechtsrelevanz besteht (Recht auf informationelle Selbstbestimmung Art. 1 Abs. 1, 2 Abs. 1 GG und das Recht auf Datenschutz, Art. 7 bzw. Art. 8 EU-GRCh).

Werden diese Probleme nicht sowohl auf nationaler als auch auf EU-Ebene durch gezielte Maßnahmen zur Verbesserung der Datenqualität mindestens in allen Hochrisikobereichen angegangen, wird der Einsatz von KI zwangsläufig zu Diskriminierung – unter anderem und insbesondere von Frauen – führen.

Außerdem sollte in Art. 10 Abs. III EU-VO KI entsprechend dem Erwägungsgrund 44 aufgenommen werden, dass verwendete Datensätze insbesondere auch hinsichtlich des Geschlechts ausreichend repräsentativ sein müssen.

Der djb weist darauf hin, dass der Verweis in Art. 10 Abs. V EU-VO KI ("Verzerrungen" bei KI-System-Entscheidungen) auf "besondere Kategorien personenbezogener Daten" i.S.d. DSGVO nicht die "geschlechtsbezogenen Daten" umfasst. Diese sind jedoch unverzichtbar, um die. erwähnten Diskriminierungen zu vermeiden.

3. Ergänzung der Verbote bestimmter Praktiken im Bereich der KI

Der djb begrüßt, dass die EU-VO KI eine Legaldefinition von KI vornimmt und bestimmte Praktiken mit einem Verbot belegt werden. Er kritisiert jedoch, dass in die Liste der verbotenen Praktiken im Bereich der KI ein Verbot diskriminierender KI trotz der Grundrechtsrelevanz von (insbesondere auch geschlechtsbezogenen) Diskriminierungen nicht aufgenommen wurde.

Ein Blick in die Auflistung der Hochrisiko-KI-Systeme in Anhang III der Verordnung zeigt, dass es sich um Lebensbereiche und Einsatzgebiete handelt, in denen bereits stattfindende – und durch eingesetzte KI-Systeme potenziell perpetuierte und gesteigerte – Diskriminierungen zu verzeichnen sind, die Frauen und Kinder im Besonderen treffen.

 

4. Weitere Anforderungen an "Hochrisiko-KI-Systeme" und Verpflichtungen beim Betrieb solcher Systeme

Der djb begrüßt einennach Risiken abgestuften, wertebasierten Ordnungsrahmen für KI-Systeme. Insgesamt hält der djb den Ansatz, nur „hochriskante“ Anwendungen zu regulieren, jedoch nicht für geeignet, Grundrechtsverletzungen und Diskriminierungen wirksam zu verhindern. Der djb schließt sich hier der Position der Datenethikkommission an, nach der nur KI-Anwendungen mit ganz geringem Risiko von einer Regulierung ausgenommen werden sollten.

Der Aufbau einer öffentlichen, unionsweiten Datenbank zu KI-Systemen mit Meldepflichten, die Verpflichtungen zu geeigneten Datengovernance- und Datenverwaltungsverfahren bei Hochrisiko-KI-Systemen sowie die Möglichkeit, KI-Entscheidungen als Korrektiv einer menschlichen Überprüfung zu unterwerfen, werden begrüßt. Zustimmung finden darüber hinaus die Pflicht zur Aufzeichnung und Aufbewahrung von Daten und Trainingsdaten zwecks effektiver Durchsetzung von Ansprüchen bei Rechtsverletzungen.

5. Harmonisierte Transparenzvorschriften, freiwillige Selbstverpflichtungen und Verhaltenskodizes für KI-Systeme im Bereich "Low-Risk"

Die Transparenzvorschriften der EU-VO KI für KI-Systeme sind zu begrüßen.

Soweit die EU-VO KI einen Appell an die "Freiwilligkeit" zur Einhaltung von Verhaltenskodizes richtet, befürchtet der djb, dass die Vermeidung geschlechtsbezogener Diskriminierung nicht ausreichend als Investitions- und Qualitätskriterium angenommen und umgesetzt wird. Dies gilt insbesondere vor dem Hintergrund aufwändiger geschlechtsdifferenzierter Datengenerierungen. Geschlechtergerechtigkeit hat sich auch in anderen Bereichen durch freiwillige Selbstkontrollen nicht eingestellt (z.B. Gleichstellung in der Privatwirtschaft). Der djb bedauert, dass In Art 69 Abs. II EU-VO KI Verhaltenskodizes der Aspekt der Geschlechtergerechtigkeit in den aufgeführten Beispielen fehlt.[10]

6. Daten und Entscheidungsprozesse rechtlich überprüfbar machen

Der djb hält es für unverzichtbar, durch ausreichende verfahrensrechtliche Regulierungen und Vorgaben sicherzustellen, dass Diskriminierungen durch KI-Systeme Einhalt geboten wird und Ansprüche durchsetzbar sind. Der djb begrüßt, dass die EU-VO KI durch Aufbewahrungs- und Dokumentationspflichten sicherstellt, dass die einer KI zugrundeliegenden Daten und Entscheidungsprozesse rechtlich überprüfbar sind. Hier müssen darüber hinaus Betroffenenrechte in der EU-VO KI weitergehend ausgestaltet werden. Einen Verweis auf die Rechte der DSGVO hält der djb für nicht ausreichend.

7. Förderung der Teilhabe von Frauen

Die vorgesehenen Maßnahmen für Reallabore und zur Innovationsförderung sind zu begrüßen. Der djb regt an, dass in den Reallaboren, bei den Fördermaßnahmen, etc. explizit sichergestellt ist, dass ein soziotechnischer Ansatz i.S.v. Punkt 1. verfolgt und die Teilhabe von Frauen bei Entwicklung und Betrieb von KI-Systemen gefördert wird.

In die Durchführungsrechtsakte gemäß Art. 53 Abs.VI EU-VO KI sollten Geschlechtergerechtigkeit und Diskriminierungsbekämpfung als Kriterien für die Projektauswahl aufgenommen werden.

 

Prof. Dr. Maria Wersig

Claudia Zimmermann-Schwartz

Anke Stelkens

Präsidentin

Vizepräsidentin

Vorsitzende Arbeitsstab Digitales

 

Mitglied im Arbeitsstab Digitales

 

 


[1] Europäische Kommission, Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften Für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung Bestimmter Rechtsakte der Union, abrufbar unter: eur-lex.europa.eu/legal-content/DE/TXT/HTML/ (Zugriff: 30.6.2021).

[2] Deutscher Juristinnenbund e.V., Stellungnahme 20-20 zu dem Weißbuch der EU-Kommission „Zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“, abrufbar unter: www.djb.de/presse/stellungnahmen/detail/st20-20 (Zugriff: 30.6.2021).

[3] Europäische Kommission, WEISSBUCH Zur Künstlichen Intelligenz –ein europäisches Konzept für Exzellenz und Vertrauen, abrufbar unter: ec.europa.eu/info/sites/default/files/commission-white-paper-artificial-intelligence-feb2020_de.pdf (Zugriff: 30.6.2021).

[4] Ebenda, S. 1, 13, 22.

[5] Sachverständigenkommission für den Dritten Gleichstellungsbericht der Bundesregierung, Digitalisierung geschlechtergerecht gestalten. Gutachten für den Dritten Gleichstellungsbericht der Bundesregierung, abrufbar auf: www.dritter-gleichstellungsbericht.de/kontext/controllers/document.php/130.b/e/41aa0a.pdf (Zugriff: 30.06.2021).

[6] Ebenda, S. 20.

[7] Übersicht zum derzeitigen Forschungsstand s. Mauvais-Jarvis, Franck/Bairey Merz, Noel/Barnes, Peter/Brinton, Roberta/Carrero, Juan-Jesus/DeMeo, Dawn, et al., Sex and gender: modifiers of health, disease, and medicine, The Lancet 396(2020), S. 565-582.

[8] Vgl. Jeffrey Dastin, Amazon scraps secret AI recruiting tool that showed bias against women, abrufbar unter: www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G abgerufen (Zugriff: 30.6.2021).

[9] Fröhlich, Wiebke, Männer fahren LKW, Frauen erziehen Kinder, VerfBlog, 2020/11/06, abrufbar unter: verfassungsblog.de/diskriminierende-facebook-algorithmen/ (Zugriff: 30.6.2021), DOI: 10.17176/20201106-115353-0.

[10] Zitat: "...auch freiwillige Verpflichtungen beispielsweise im Hinblick auf die ökologische Nachhaltigkeit, den Zugang für Personen mit Behinderungen, die Beteiligung von Interessenträgern an Entwurf und Entwicklung von KI-Systemen sowie die Diversität des Entwicklungsteams...".