Wenn die KI irrt – Haftungsszenarien und Kontrollpflichten für Geldwäschebeauftragte

Teil 2 der Serie zur KI-Governance in der Geldwäscheprävention

Der erste Teil dieser dreiteiligen Serie hat die Rolle der Zentralen Stelle und des Geldwäschebeauftragten (GWB) im Spannungsfeld von Technologieeinsatz, regulatorischer Verantwortung und menschlicher Letztverantwortung beleuchtet. Dabei wurde deutlich: Der Einsatz von KI kann zwar Prozesse beschleunigen, entbindet aber keinesfalls von der Haftung – im Gegenteil.

Der zweite Teil führt diese Analyse nun konsequent weiter: Es werden konkrete Haftungsszenarien beim Einsatz von KI in der Zentralen Stelle betrachtet und der Rechtsrahmen eingeordnet – von aktuellen Grundlagen über anstehende Regulierungen bis hin zu wissenschaftlichen Diskussionen. Zudem werden die Anforderungen an Kontrollhandlungen und die Dokumentation beschrieben, und praxisrelevante Leitplanken für die persönliche Haftungsvermeidung des GWB formuliert. Im Fokus steht dabei auch der Sonderfall agentenbasierter Systeme.

Gegenwärtige Haftungsdogmatik

Die gegenwärtige Haftungsdogmatik in Deutschland und der EU folgt einer dreiteiligen Struktur, die auch auf KI-Systeme zunehmend Anwendung findet.

Verschuldenshaftung (§§ 823 BGB, § 130 OWiG, § 93 AktG/GmbHG analog)

Hierbei wird geprüft, ob ein Akteur durch Verletzung einer Sorgfaltspflicht schuldhaft einen Schaden verursacht hat. Im KI-Kontext liegt das Risiko in:

• Unzureichender Kontrolle oder Überwachung des KI-Systems (Organisationsverschulden)
• Blindem Vertrauen in KI-Ergebnisse ohne Plausibilisierung
• Unterlassener oder fehlerhafter Modellvalidierung oder Systemfreigabe

Die Haftung trifft typischerweise:

• Den schuldhaft verursachenden Mitarbeiter (insb. GWB als Verantwortlichen der Zentralen Stelle)
• Die Geschäftsleitung bei strukturellem Governance-Versagen

Gefährdungshaftung (z. B. analog zu § 7 StVG)

Im Zivilrecht existiert kein allgemeines Gefährdungshaftungsregime für KI. Gleichwohl wird diskutiert, ob bestimmte KI-Systeme, insbesondere solche mit autonomem Verhalten, als latent gefährdend zu klassifizieren sind.

Gerade bei agentischer KI entsteht ein Zurechnungsdefizit, da deren Verhalten nicht mehr vollständig vorhersagbar ist. Die juristische Kritik erkennt darin ein haftungsrechtlich bedenkliches Maß an Kontrollverlust.

Produkthaftung (ProdHaftG, EU-Richtlinie 85/374/EWG)

Software, also auch KI, fällt unter das Produkthaftungsrecht. Ein Produktfehler liegt z. B. vorbei:

• fehlerhaftem Training des KI-Systems,
• Verwendung ungeeigneter Datenquellen,
• unterlassenen notwendigen Updates.

Mit Blick auf agentenbasierte KI stellt sich ein neuartiges Problem: Wenn ein System durch eigenständiges Lernen („unsupervised“ oder „reinforcement learning“) ein Verhalten entwickelt, das nicht durch Entwickler oder Betreiber vorhergesehen wurde, droht eine „nichtsteuerbare Haftungslücke“. In der gegenwärtigen Rechtspraxis wird dies nur dann produktrechtlich sanktioniert, wenn nachgewiesen werden kann, dass das Unternehmen das System unzureichend kontrolliert oder gewartet hat.

Geplante Regulierungen bzw. Änderungen

Zu Haftungsfragen sind folgende Änderungen in Planung bzw. Vorbereitung:

AI Act (EU-Verordnung 2024)

Der AI Act verfolgt einen risikobasierten Ansatz. Systeme wie KI-gestütztes Transaktionsmonitoring oder Screening gelten in Verbindung mit den von Bundesbank und BaFin bereitgestellten Dokumenten zum Thema KI als potentielle  „high-risk AI“. Betreiber müssen:

• menschliche Kontrollmechanismen („human oversight“) integrieren,
• Transparenz, Nachvollziehbarkeit und Logging sicherstellen,
• technische Robustheit garantieren.

Agentenbasierte Systeme sind aufgrund ihrer adaptiven Zielverfolgung grundsätzlich als besonders risikobehaftet einzustufen. Je nach Kontext wären sie gemäß AI Act vollständig unzulässig oder äußerst streng reguliert.

AI Liability Directive – AILD (KI-Haftungsrichtlinie)

Die Richtlinie sieht keine eigene Haftungsgrundlage vor, sondern regelt:

• Beweiserleichterungen bei Schadensersatzklagen gegen KI-Betreiber,
• Offenlegungspflichten zu Systemprotokollen und Entscheidungspfaden.

Für agentische KI bedeutet das: Wenn Unternehmen keine klaren Logs oder Entscheidungspfade liefern können, greift eine Beweislastumkehr. Der Schutz vor Haftung hängt direkt an der Fähigkeit, das Verhalten der KI zu rekonstruieren, was bei emergentem Verhalten kaum möglich sein wird.

Reform der Produkthaftungsrichtlinie (2022/0302 COD)

Der Fehlerbegriff wird hier auf lernfähige Software erweitert. Hersteller haften auch bei:

• fehlerhaftem Lernen (z. B. durch schlechte Daten),
• unterlassener Wartung,
• unzureichendem Risikomanagement.

Dies trifft agentische KI mit voller Wucht. Da das Verhalten teils nicht vorhergesagt, aber kausal auf Lernprozesse zurückgeführt werden kann, besteht ein erhöhtes Herstellerhaftungsrisiko, das auch auf Betreiber durchgreifen kann.

Wissenschaftliche Perspektiven

Seit den letzten Jahren findet sich eine zunehmende Anzahl an Fachartikeln und Buchpublikationen, die sich mit den Haftungslücken im Kontext von KI-Anwendungen befassen und Vorschläge unterbreiten, diese Lücken zu schließen. Drei Perspektiven sind hier führend:

Algorithmic Accountability

Reyes fordert ein spezifisches Haftungsregime für KI, das Entscheidungsdesign und Trainingsverantwortung in den Mittelpunkt rückt. Für agentenbasierte KI schlägt er ein „responsibility-by-architecture“-Modell vor, bei dem Systemverantwortung normativ konstruiert wird, auch wenn keine individuelle Steuerung mehr vorliegt [Reyes, C.L., Autonomous Corporate Personhood, Washington Law Review, 2021, in Zusammenhang mit Reyes, C.L., Autonomous Business Reality, Nevada Law Journal, 2021].

Organisationale Verantwortung

Nissenbaum, Brey, betonen, dass strukturelle Verantwortung nur dann sichergestellt werden kann, wenn normative Prinzipien (z. B. Fairness, Erklärbarkeit, Datenschutz) von Anfang an systematisch in technische, organisatorische und soziale Prozesse integriert werden – nicht erst bei Vorfällen oder Haftungssituationen. Hierauf bauen vor allem die Standardisierungs- und Normierungs-Institutionen auf und leiten daraus eine Verantwortlichkeitsarchitektur bestehend aus Rollenmodellen, Verfahrensanweisungen und Kontrollrahmen ab.  [Nissenbaum, H., Accountability for Privacy via Institutional Design, 2001; Brey, Ph., Ethics of Emerging Technologies, 2012; sowie weiter IEEE, Ethical Aspects of Autonomous and Intelligent Systems, 2019].

Autopoietische Systeme

Teubnersieht in selbstreferenziellen Systemen wie agentischer KI ein „Rechtsvakuum“: Sie erzeugen Entscheidungen jenseits menschlicher Kontrolle, ohne selbst rechtsfähig zu sein. Er fordert eine funktionale Systemhaftung, bei der nicht mehr das Verhalten Einzelner, sondern das Design und die Reaktionen des gesamten Systems haftungsrechtlich relevant werden [Teubner, G. Recht als poietisches System, 1989, in Verbindung mit Beckers/Teubner, Digitale Aktanten, Hybride, Schwärme, 2024] .

Zusammenfassung zur KI-Haftung

Haftungsszenarien bei KI-Versagen in der Zentralen Stelle

Der GWB ist nach § 7 GwG in Verbindung mit § 25h KWG als verantwortliche Person für die institutsinterne Geldwäscheprävention benannt. Mit der Zuweisung dieser Rolle übernimmt er faktisch eine Organfunktion mit umfassender Sorgfalts-, Überwachungs- und Steuerungspflicht. Die Integration von KI-Systemen insbesondere zur Transaktionsüberwachung, Sanktionslistenprüfung oder Musteranalyse verändert nicht die Verantwortlichkeit, sondern verändert die Natur des Risikos: Aus operativ-beobachtbar wird technisch-vermittelt und potenziell intransparent.

Typische haftungsrelevante Szenarien:

• Unzureichende Kontrolle der Systemlogik
  (z. B. bei dauerhaft falsch klassifizierten kritischen Transaktionen ohne Intervention)
• Blindes Vertrauen in KI-Empfehlungen
  (z. B. bei Nichtmeldung trotz meldepflichtiger Indikatoren)
• Unterlassene Validierung oder unzureichendes Monitoring
  (z. B. bei plötzlichem Ausbleiben von Alerts, stark schwankenden False-Positives)
• Nichtreaktion auf bekannte Limitierungen
  (z. B. bei bekanntem Bias gegenüber bestimmten Kundengruppen)

Diese Szenarien sind vor allem unter §§ 130 OWiG (Organisationsverschulden), 823 BGB (Deliktshaftung) sowie bei Kapitalgesellschaften unter § 93 AktG / § 43 GmbHG (Pflichtverletzung von Organen) haftungsrelevant. Ein dabei besonders schwerwiegender Umstand ist die leider in der Praxis nicht seltene Verwechslung von Systemnutzung mit Verantwortungsdelegation. Der Einsatz eines Tools ersetzt keine eigene Prüfung.

Anforderungen an die Kontrollhandlungen des GWB

Die persönliche Haftungsminimierung des GWB gelingt nicht durch Abwälzung, sondern ausschließlich durch nachweisbare, strukturierte und dokumentierte Governance. Rechtsprechung (vgl. BGH, NJW 2009, 3173) und Verwaltungspraxis (BaFin-Maßstäbe) verlangen ein Vorgehen, das sich an Risikokomplexität und Systemkritikalität orientiert.

Die zentrale Formel lautet: Je autonomer die Technologie, desto enger müssen Überwachung, Prüfung und Eskalationsfähigkeit organisiert sein. Zur „Enthaftung“ sind insbesondere folgende Maßnahmen erforderlich:

Sonderfall agentenbasierte KI
Hier gilt: Der Einsatz in operativen Entscheidungsprozessen würde derzeit gegen aufsichtsrechtliche Prinzipien verstoßen. Der GWB darf sich daher auf regulatorische Unzulässigkeit berufen, um bereits im Vorfeld eine Enthaftung zu begründen – jedoch nur, wenn er aktiv darauf hingewirkt hat, dass solche Systeme nicht oder nur in nichtkritischen Anwendungsfeldern genutzt werden.

Dokumentations- und Validierungspflichten als Risikosenkungsinstrumente
Die Dokumentation ist das zentrale Verteidigungsinstrument des GWB im Haftungsfall. Dazu gehören:

• Beschreibungen eingesetzter KI-Systeme
• Versionierungen und Protokollierungen von Änderungen
• Validierungsergebnisse
• Interne Stellungnahmen, Einwände gegen Systemlogik
• Eskalationsberichte, Nachweise der Kommunikation mit der Geschäftsleitung

In der Praxis empfiehlt sich die Führung eines „AI-Governance-Dossiers“ durch oder für den GWB, das alle KI-gestützten Compliance-Prozesse, deren Bewertung und deren Kontrollhistorie enthält. In Kombination mit einer Policy zur Eingriffs- und Eskalationsverantwortung kann dieses Dossier im Haftungsfall einen entscheidenden Unterschied machen.

Die Rolle des GWB im Zeitalter der KI
Die persönliche Haftung des GWB bleibt in vollem Umfang bestehen, auch wenn KI-Systeme in die operativen Prozesse der Zentralen Stelle eingebunden werden. Entscheidungsverlagerung ohne Kontrollausgleich führt nicht zu Entlastung, sondern zu Risiko. Die Haftung lässt sich nicht ausschließen, aber managen durch:

• organisatorische Verankerung der Letztverantwortung,
• technologische Grundkompetenz und Awareness,
• strukturiertes Kontrollhandeln,
• dokumentierte Entscheidungsprozesse.

Die Zentrale Stelle darf KI einsetzen, aber nicht zur Flucht aus der Verantwortung, sondern als Werkzeug unter menschlicher Kontrolle. Alles andere wäre sowohl rechtlich als auch aufsichtsrechtlich nicht tragfähig.

Vorschau auf Teil 3

Der dritte Teil dieser Serie zeigt, welche organisatorischen und strukturellen Voraussetzungen notwendig sind, um KI rechtssicher und haftungsrobust in die Arbeit der Zentralen Stelle zu integrieren:

• Neue Rollenprofile und Verantwortlichkeitsstrukturen
• Kompetenzanforderungen für GWB und Team
• Vorschlag für ein KI-Kompetenzmodell
• Umsetzung der BaFin-Anforderungen aus BT Ziffer 6

Der Autor:

Dirk Findeisen ist Managing Partner des Beratungs- und Technologieunternehmens msg Rethink Compliance. Er verfügt über mehr als 20 Jahre Erfahrung in den Bereichen Governance, Risk & Compliance (GRC), Datenmanagement, Advanced Analytics und Corporate Performance Management. Findeisen ist Autor zahlreicher Fach- und Buchbeiträge zum Thema Anti-Financial Crime Compliance, ein gefragter Referent auf Fachveranstaltungen und Dozent an mehreren deutschen Hochschulen.

dirk.findeisen@msg-compliane.com