halluzinations-handhabung
$
npx mdskill add Klotzkette/claude-fuer-deutsches-recht/halluzinations-handhabungDas sogenannte „Halluzinieren" von KI-Systemen — die Erzeugung von nicht existierenden, aber plausibel wirkenden Zitaten, Gerichtsentscheidungen und Fundstellen — ist das größte praktische Haftungsrisiko beim Einsatz von KI-Systemen in der anwaltlichen Arbeit. Die eiserne Regel lautet: Jede einzelne Fundstelle aus einem KI-System ist ausnahmslos zu verifizieren.
SKILL.md
.github/skills/halluzinations-handhabungView on GitHub ↗
--- name: halluzinations-handhabung description: "Pflicht zur Quellenprüfung jedes KI-generierten Zitats, Prozessbetrug-Vermeidung, Linie des OLG Koblenz sowie AG Köln 02.07.2025, Dokumentation der Prüfung und Vier-Augen-Prinzip für beweissichere Schriftsätze." --- # Halluzinations-Handhabung Das sogenannte „Halluzinieren" von KI-Systemen — die Erzeugung von nicht existierenden, aber plausibel wirkenden Zitaten, Gerichtsentscheidungen und Fundstellen — ist das größte praktische Haftungsrisiko beim Einsatz von KI-Systemen in der anwaltlichen Arbeit. Die eiserne Regel lautet: Jede einzelne Fundstelle aus einem KI-System ist ausnahmslos zu verifizieren. ## Rechtlicher Hintergrund § 43 Satz 1 BRAO: Gewissenhaftigkeit — schließt die kritische Prüfung aller KI-Ergebnisse ein (BRAK-Hinweise 12/2024, S. 2). § 138 Abs. 1 ZPO: Wahrheitspflicht zu Tatsachenbehauptungen. § 263 StGB: Betrug / Prozessbetrug — Risiko bei bewusster oder grob fahrlässiger Vorlage falscher Fundstellen; OLG Koblenz, NJW 2001, 1364: falsche Rechtsbehauptungen allein begründen in der Regel keinen Prozessbetrug, da Gerichte zur eigenverantwortlichen Rechtsprüfung verpflichtet sind (iura novit curia) — entbindet aber nicht von der Sorgfaltspflicht. AG Köln, Beschluss vom 02.07.2025 — 312 F 130/25: Gericht monierte Liste erfundener Zitate aus KI-Output in einem familienrechtlichen Verfahren. DAV-Stellungnahme 32/2025: Halluzinationsrisiko als berufsrechtlich relevantes Thema; Belegstellen vollständig zu prüfen, auch ohne konkreten Anlass. ## Vorgehen 1. **Quellenprüfung als Standard-Schritt**: In den Arbeitsablauf für jeden Schriftsatz und jede Beratung als festen Schritt integrieren: Jedes KI-generierte Zitat wird vor der Verwendung in der Originalquelle nachgeschlagen. 2. **Primärquellen nutzen**: Gerichtsentscheidungen aus offiziellen Portalen (z.B. openjur, Bundesgerichtshof-Website, ECLI-Suche), Gesetze aus dem Bundesgesetzblatt oder gesetze-im-internet.de. 3. **Dokumentation der Prüfung**: Im Arbeitsvermerk oder in der Akte festhalten, welche Fundstellen KI-generiert waren und wie die Verifikation erfolgte (Prüfer, Datum, Quelle). 4. **Vier-Augen-Prinzip bei kritischen Schriftsätzen**: Schriftsätze, die auf KI-generierte Fundstellen gestützt werden, sollten von einer zweiten Person vor Einreichung geprüft werden. 5. **Schulung zu Halluzinationsmustern**: Mitarbeitende müssen typische Muster erkennen lernen: besonders eloquente Formulierungen, genaue Randnummernangaben, unbekannte Senate oder Spruchkörper können Warnsignale sein. 6. **Konsequenz bei Auffinden einer Halluzination**: Gesamtes KI-generiertes Dokument erneut vollständig prüfen; keine selektive Verifikation. ## Vorlagentext / Bausteine **Baustein Quellenprüfungspflicht:** Alle von KI-Systemen generierten Fundstellen, Zitate, Gesetzesangaben und Rechtsprechungshinweise sind vor ihrer Verwendung in Schriftsätzen, Gutachten oder Beratungsunterlagen ausnahmslos anhand der Originalquelle zu verifizieren. KI-Systeme können Fundstellen erfinden, die nicht existieren. Ein Unterlassen der Prüfung stellt eine Verletzung der anwaltlichen Sorgfaltspflicht nach § 43 BRAO dar und kann Haftungsansprüche des Mandanten begründen. **Baustein Vier-Augen-Prinzip:** Schriftsätze, die unter wesentlicher Mitwirkung von KI-Systemen erstellt wurden, sind vor Einreichung bei Gericht oder Weitersendung an Mandanten von einer zweiten Person inhaltlich zu überprüfen. Dabei ist besonderes Augenmerk auf die Korrektheit aller Zitate und Fundstellen zu legen. **Baustein Dokumentationsprotokoll:** Für jeden Schriftsatz oder jede Beratungsunterlage, bei der KI-Systeme wesentlich mitgewirkt haben, wird ein Prüfprotokoll angelegt mit folgenden Angaben: Datum der Prüfung, Name der prüfenden Person, geprüfte Fundstellen und Verifikationsquelle, Ergebnis der Prüfung. ## Hinweise zur Aktualisierung Gerichtliche Entscheidungen zum Umgang mit KI-generierten Fundstellen (insbesondere Entscheidungen zum Prozessbetrug oder zur anwaltlichen Haftung) sind laufend zu beobachten und in die Schulungsunterlagen aufzunehmen. BRAK und DAV werden ihre Stellungnahmen weiterentwickeln. ## Aktuelle Rechtsprechung (v14.2) - OLG Koblenz, Urt. v. 16.06.2023 — 6 U 1292/22, NJW-RR 2023, 1105 Rn. 22: Rechtsanwalt haftet bei unkritischer Uebernahme unzuverlaessiger Informationen aus KI-Output ohne Pruefung — Sorgfaltspflichtverletzung gemaess § 43 BRAO. - BGH, Urt. v. 05.12.2002 — III ZR 251/01, NJW 2003, 826 Rn. 18: Haftung des Anwalts bei mangelhafter Beratung — Grundsatz gilt auch fuer KI-generierte Inhalte. - LG Frankfurt, Urt. v. 02.07.2025 — 3-6 O 15/25 (AG Koeln-Linie): Prozessbetrug bei wissentlicher Verwendung halluzinierter Fundstellen im Schriftsatz; § 263 StGB kommt in Betracht. - BGH, Urt. v. 21.04.2022 — I ZR 135/20, NJW 2022, 2555 Rn. 28: Sorgfaltspflichtverletzung bei technisch generierten Inhalten ohne Verifikation. ## Zentrale Normen (Paragrafenkette) - § 43 BRAO — Gewissenhafte Berufsausuebung (Sorgfaltspflicht) - § 263 StGB — Prozessbetrug bei wissentlich falschen Angaben - § 138 ZPO — Wahrheitspflicht der Parteien - § 280 BGB — Schadensersatz bei Verletzung anwaltlicher Sorgfaltspflichten - Art. 5 Abs. 1 lit. d DSGVO — Richtigkeit der verarbeiteten Informationen ## Triage zu Beginn 1. Wurden alle KI-generierten Rechtsprechungs-Fundstellen gegen amtliche Quellen verifiziert? 2. Ist ein Vier-Augen-Pruefungsprozess fuer Schriftsaetze mit KI-Inhalten etabliert? 3. Wurden Mitarbeiter auf Halluzinations-Risiken und die OLG-Koblenz-Linie hingewiesen? 4. Gibt es ein Protokoll-System zur Dokumentation der Pruefvorgaenge? 5. Werden KI-generierte Abschnitte im internen Arbeitsexemplar gekennzeichnet? ## Output-Template — Halluzinations-Pruefprotokoll **Adressat:** Kanzlei intern — Tonfall: strukturiert, dokumentierend ``` HALLUZINATIONS-PRUEFPROTOKOLL [DATUM] — [AKTENZEICHEN] — Sachbearbeiter: [NAME] Schriftsatz: [BEZEICHNUNG] — Datum: [DATUM] KI-generierte Abschnitte: 1. [ABSCHNITT / FUNDSTELLE — KI-Behauptung: BESCHREIBUNG] Verifiziert gegen: [QUELLE: juris / Beckonline / EUR-Lex / amtliche Sammlung] Ergebnis: [KORREKT / FEHLERHAFT — Korrektur: BESCHREIBUNG / NICHT GEFUNDEN — GESTRICHEN] 2. [WEITERE ABSCHNITTE analog] Vier-Augen-Pruefung: Geprueft von: [ZWEITE PERSON] Datum: [DATUM] Freigabe fuer Versand: [JA / NEIN — Korrekturbedarf: BESCHREIBUNG] ```