bias-und-diskriminierung-pruefung

---
name: bias-und-diskriminierung-pruefung
description: "Bias-Quellen in KI-Systemen, AGG-Relevanz bei der Bewerberauswahl in Kanzleien, Prüfverfahren für diskriminierende KI-Outputs und Schulungsanforderungen für Mitarbeitende im Umgang mit vorurteilsbehafteten KI-Ergebnissen."
---

# Bias und Diskriminierung Prüfung

KI-Systeme werden auf Basis großer Textmengen trainiert, die Verzerrungen und gesellschaftliche Vorurteile enthalten können. Diese „Bias" können sich in den Outputs der KI-Systeme widerspiegeln und zu Diskriminierungen führen — besonders kritisch bei Personalentscheidungen, aber auch bei der Mandantenberatung zu diskriminierungsrechtlichen Fragen. Kanzleien müssen ihre Mitarbeitenden befähigen, Bias zu erkennen und zu korrigieren.

## Rechtlicher Hintergrund

§§ 1, 7 AGG (Allgemeines Gleichbehandlungsgesetz): Diskriminierungsverbot aufgrund von Rasse, Geschlecht, Religion, Behinderung, Alter oder sexueller Identität — gilt für Beschäftigung und privatrechtliche Verträge, damit auch für Mandatsbeziehungen. Art. 9 DSGVO: Besonders sensible Datenkategorien — rassische/ethnische Herkunft, religiöse Überzeugungen etc. — dürfen nicht Grundlage von Entscheidungen sein. Art. 10 Abs. 5 KI-VO: Hochrisiko-KI-Systeme müssen auf Bias geprüft werden; für Kanzleien gilt dies indirekt beim Einsatz von KI im Personalwesen (Anhang III Nr. 4). Art. 22 DSGVO: Keine ausschließlich automatisierten Entscheidungen mit diskriminierender Wirkung. BAG-Rechtsprechung zum AGG: Der Nachweis einer Benachteiligung kann durch statistische Indizien erbracht werden.

## Vorgehen

1. **Bias-Quellen verstehen**: KI-Systeme können systematisch bestimmte Gruppen bevorzugen oder benachteiligen — je nach Trainingsdaten, Aufgabenstellung und Prompt-Formulierung.
2. **Kritische Kontexte identifizieren**: Besonders anfällig: Bewerberauswahl, Beurteilung von Vertragsparteien, Formulierung von Texten zu diskriminierungsrechtlichen Themen.
3. **KI-Output auf Bias prüfen**: Enthält der Text unangemessene Verallgemeinerungen, stereotypische Formulierungen oder einseitige Bewertungen bestimmter Gruppen?
4. **AGG-Compliance bei Personalentscheidungen**: Stellt eine KI-Vorauswahl von Bewerbungen sicher, dass alle nach AGG geschützten Merkmale ausgeschlossen werden? Prüfung durch beauftragte Personalverantwortliche.
5. **Mitarbeitende schulen**: Schulungsmodul zu Bias-Erkennung entwickeln; konkrete Beispiele aus der juristischen Praxis verwenden.
6. **Interne Meldepflicht**: Bei festgestelltem Bias im KI-Output ist dieser intern zu melden und der Output nicht zu verwenden.

## Vorlagentext / Bausteine

**Baustein Bias-Sensibilisierung:**
KI-Systeme können aufgrund ihrer Trainingsdaten vorurteilsbehaftete Inhalte erzeugen, die gegen das AGG oder andere Diskriminierungsverbote verstoßen. Mitarbeitende sind angewiesen, KI-generierte Texte auf diskriminierende Formulierungen, Stereotypen oder einseitige Bewertungen zu prüfen. Derartige Inhalte sind zu löschen und intern zu melden. Eine Weiterverwendung ist nicht zulässig.

**Baustein AGG-Compliance Personalwesen:**
Beim Einsatz von KI-Systemen bei der Vorauswahl von Bewerbungen oder bei sonstigen Personalentscheidungen stellt die Kanzlei sicher, dass die nach § 1 AGG geschützten Merkmale (Rasse, ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter, sexuelle Identität) keine Rolle spielen. KI-generierte Bewerbungsbewertungen werden ausnahmslos von einer qualifizierten Personalverantwortlichen oder einem qualifizierten Personalverantwortlichen überprüft, bevor eine Entscheidung getroffen wird.

**Baustein Meldeverfahren:**
Stellt eine Mitarbeiterin oder ein Mitarbeiter fest, dass KI-generierter Output diskriminierende oder anderweitig problematische Inhalte enthält, ist dies unverzüglich an [Name Datenschutzbeauftragter/Compliance-Verantwortlicher] zu melden. Der fehlerhafte Output ist zu dokumentieren und nicht zu verwenden.

## Hinweise zur Aktualisierung

Die KI-Forschung zum Thema Bias entwickelt sich rasch weiter. Neue Erkenntnisse zur Bias-Anfälligkeit bestimmter KI-Systeme sollten in Schulungen aufgenommen werden. BAG-Entscheidungen zum AGG im Kontext von KI-Personalauswahl sowie Leitlinien der EU-Kommission zur Gleichbehandlung beim KI-Einsatz sind zu beobachten.

## Aktuelle Rechtsprechung (v14.2)
- EuGH, Urt. v. 23.04.2020 — C-507/18 (NH), NJW 2020, 1999 Rn. 31: AGG — auch hypothetische Diskriminierungstests begrunden Beweislastumkehr; gilt fuer KI-Auswahlsysteme.
- BAG, Urt. v. 19.12.2019 — 8 AZR 2/19, NJW 2020, 1612 Rn. 22: Mittelbare Diskriminierung im Bewerbungsverfahren — neutrales Auswahlkriterium mit diskriminierender Wirkung genuegt.
- BGH, Urt. v. 26.03.2019 — VI ZR 273/16, NJW 2019, 2385 Rn. 14: Produkthaftung fuer fehlerhafte Algorithmen; Hersteller haftet fuer systematische Fehlerquellen in Entscheidungssystemen.
- BVerfG, Beschl. v. 16.07.2012 — 1 BvR 2983/10, NJW 2012, 2856 Rn. 18: Diskriminierungsschutz Art. 3 GG als Masstab auch bei mittelbar wirkenden technischen Systemen.

## Zentrale Normen (Paragrafenkette)
- § 1 AGG — Schutz vor Diskriminierung (Rasse, Geschlecht, Alter, Behinderung, Herkunft)
- § 15 AGG — Schadensersatz und Entschaedigung bei Diskriminierung
- Art. 22 DSGVO — Automatisierte Entscheidungen mit moeglichem Diskriminierungspotenzial
- Art. 5 Abs. 1 lit. c KI-VO — Verbot biometrischer Kategorisierung nach geschuetzten Merkmalen
- Anhang III Nr. 2 KI-VO — Hochrisiko bei Bewerbungs-Screening und Leistungsbewertung

## Triage zu Beginn
1. Fuer welchen Zweck wird das KI-System eingesetzt — Bewerberauswahl, Mandatszuordnung, Leistungsbewertung?
2. Koennen Trainingsdaten historische Diskriminierungsmuster enthalten?
3. Sind schutzbeduerfte Gruppen nach AGG unverhältnismaessig betroffen?
4. Wurde ein Bias-Test durchgefuehrt — und sind die Ergebnisse dokumentiert?
5. Gibt es einen Widerspruchsmechanismus fuer Betroffene (Art. 22 Abs. 3 DSGVO)?

## Output-Template — Bias-Pruefprotokoll
**Adressat:** HR / Compliance — Tonfall: strukturiert, sachlich
```
BIAS-PRUEFPROTOKOLL
[DATUM] — System: [SYSTEMNAME] — Anwendungsfall: [BESCHREIBUNG]

Geschuetzte Merkmale (§ 1 AGG) — Analyse:
| Merkmal | Risiko | Nachweis | Massnahme |
|---|---|---|---|
| Geschlecht | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
| Alter | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
| Herkunft / Nationalitaet | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
| Behinderung | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |

KI-VO Art. 5 Abs. 1 lit. c: Biometrische Kategorisierung: [NICHT VORHANDEN / PRUEFUNG ERFORDERLICH]
Anhang III Nr. 2 KI-VO: Hochrisiko: [JA / NEIN]

Bias-Test durchgefuehrt: [JA — Methode: BESCHREIBUNG / NEIN — ERFORDERLICH]
Gesamtbewertung: [KEIN MATERIALLES BIAS / BIAS GEFUNDEN — MASSNAHMEN ERFORDERLICH]
Geprueft von: [NAME], [DATUM]
```