Warum du ChatGPT, Claude & Co. nicht als KI-Verordnung Compliance-Begleiter nutzen solltest
- Mar 19
- 7 min read
TL;DR
• Moderne KI-Systems (ChatGPT, Claude, Gemini, Grok) sind 2026 besser denn je — aber nicht für Compliance gemacht
• Das Problem ist nicht mehr offensichtliche Fehler, sondern überzeugend klingende Fehler
• Ohne Quellenangaben, Audit Trail und projektspezifischen Kontext sind LLM-Antworten für die KI-Verordnung unbrauchbar
• Alternativen: Offizielle Quellen selbst recherchieren, spezialisierte Tools mit RAG nutzen, oder Experten konsultierenDie Geschichte, die mich zum Umdenken brachte
Alle waren begeistert. Die KI-Anwendung war fast fertig.
Dann kam die Präsentation vor der Geschäftsführung. Der Datenschutzbeauftragte stellte eine Frage: "Ist euer Use Case regulatorisch sauber eingeordnet — und wisst ihr, welche Pflichten daraus konkret entstehen?"
Stille.
Niemand hatte daran gedacht. Auch ich nicht.
Ich bekam die Aufgabe, das zu klären. Also tat ich, was jeder tut: Ich öffnete ChatGPT.
"Ist unsere KI-Anwendung vom AI Act betroffen?"
Die Antwort klang überzeugend. Strukturiert. Professionell. Artikel-Nummern. Pflichten. Sogar Fristen.
Ich war erleichtert — bis ich anfing, die Quellen zu prüfen.
"Artikel 52 regelt die Transparenzpflichten..."
Das Problem: Artikel 52 existiert in der finalen Fassung der KI-Verordnung so gar nicht. In der verabschiedeten Version (EU) 2024/1689 sind die Transparenzpflichten in Artikel 50 geregelt.
Das Gefährliche: Die Antwort klang richtig. Ich hätte es fast nicht geprüft.
Das war der Moment, wo ich verstanden habe: Für Compliance braucht es mehr als ein General-Purpose-LLM.
1. Warum LLMs bei Compliance-Fragen so verlockend sind
Seien wir ehrlich: ChatGPT, Claude, Gemini und Grok sind beeindruckend. Sie können:
Komplexe Fragen in Sekunden beantworten
Juristen-Deutsch in verständliche Sprache übersetzen
Strukturierte Zusammenfassungen liefern
24/7 verfügbar sein — kostenlos oder für wenige Euro im Monat
Für einen Product Manager, CTO oder Gründer ohne Legal-Budget klingt das perfekt. Die KI-Verordnung hat 458 Seiten. Wer hat Zeit, das alles zu lesen? Also fragt man das LLM: "Bin ich vom EU AI Act betroffen?" oder "Welche Pflichten habe ich als Betreiber?" Und man bekommt eine Antwort. Eine die gut klingt. Eine die professionell wirkt.
Das Problem beginnt genau hier.
2. Das Halluzinations-Problem — und warum es 2026 gefährlicher ist als je zuvor
"Aber die neuen Modelle halluzinieren doch kaum noch!"
Das stimmt — teilweise. Claude Opus 4.5, GPT-5.2, Gemini 2.5 Pro und Grok 3 sind deutlich besser als ihre Vorgänger. Die offensichtlichen Fehler sind seltener geworden.
Aber genau das macht sie gefährlicher.
2.1 Das Problem der überzeugenden Fehler
Ein LLM das offensichtlich Unsinn erzählt, ist leicht zu erkennen. Ein LLM das zu 95% korrekt ist und die Fehler in professioneller Sprache verpackt — das ist ein Problem.
Beispiel aus der Praxis:
Frage an ein führendes LLM: "Welche Fristen gelten für Hochrisiko-KI-Systeme nach dem EU AI Act?"
Antwort: "Hochrisiko-KI-Systeme müssen bis zum 2. August 2025 die Anforderungen nach Artikel 6-49 erfüllen. Anbieter haben eine Übergangsfrist von 36 Monaten ab Inkrafttreten."
Klingt präzise. Klingt kompetent.
Das Problem: Die Fristen sind komplexer. Es gibt unterschiedliche Deadlines für verschiedene Kategorien:
August 2025: Verbote (Art. 5)
August 2026: Hochrisiko-Systeme nach Anhang III
August 2027: Bestimmte Bestandssysteme
Die LLM-Antwort ist nicht komplett falsch — aber unvollständig genug, um eine falsche Planungsgrundlage zu schaffen.
2.2 Das Versionierungsproblem
Die KI-Verordnung hat mehrere Entwurfsfassungen durchlaufen. Artikel-Nummern haben sich verschoben. Formulierungen wurden geändert.
LLMs wurden auf Daten trainiert, die verschiedene Versionen enthalten können:
Kommissionsentwurf (April 2021)
Parlamentsfassung (Juni 2023)
Trilog-Ergebnis (Dezember 2023)
Finale Veröffentlichung (Juli 2024)
Wenn ein LLM "Artikel 52 Transparenzpflichten" sagt, bezieht es sich möglicherweise auf eine veraltete Entwurfsfassung. In der finalen Verordnung (EU) 2024/1689 stehen Transparenzpflichten in Artikel 50.
Ohne Quellenangabe weißt du nicht, auf welche Version sich die Antwort bezieht.
3. Das Quellen-Problem — oder: Warum "Trust me" bei KI-Verordnung Compliance nicht reicht
Stell dir vor, du sitzt in einem Audit. Der Prüfer fragt: "Wie haben Sie festgestellt, dass Ihr System unter Artikel 6 Absatz 2 fällt?"
Deine Antwort: "ChatGPT hat das gesagt."
Das funktioniert nicht.
3.1 Keine Nachverfolgbarkeit
Wenn ein LLM sagt "Nach Artikel 9 müssen Sie ein Risikomanagement-System implementieren", fehlt:
Der exakte Wortlaut des Artikels
Die Verbindung zu deinem spezifischen Projekt
Die Begründung, warum genau dieser Artikel für dich gilt
Du bekommst eine Aussage, aber keinen Nachweis.
3.2 Kein Audit Trail
KI-Verordnung Compliance erfordert Dokumentation. Du musst nachweisen können:
Wann du welche Prüfung durchgeführt hast
Auf welcher Grundlage du Entscheidungen getroffen hast
Wie du zu deiner Risikoklassifizierung gekommen bist
Ein Chat-Verlauf mit einem LLM ist kein Compliance-Nachweis. Er ist nicht strukturiert, nicht verifizierbar, und kann jederzeit gelöscht werden.
3.3 Der Unterschied zu spezialisierten Tools
Ein Tool das für Compliance gebaut wurde, funktioniert anders:
General-Purpose LLM | Spezialisiertes Compliance-Tool |
Datenquelle: Trainingsdaten (veraltet möglich) | Datenquelle: RAG auf aktuelle Gesetzestexte |
Quellenangaben: Keine oder unzuverlässig | Quellenangaben: Klickbare Artikel-Referenzen |
Analyse: Chat-basiert, generisch | Analyse: Strukturiert, projektspezifisch |
Audit Trail: Keiner | Audit Trail: Persistierte Assessments |
Datenschutz: US-Cloud | Datenschutz: EU-Hosting möglich |
Validierung: Keine | Validierung: Human-in-the-Loop möglich |
4. Das Kontext-Problem — "Es kommt darauf an" hilft dir nicht
Frag ein LLM: "Ist mein Chatbot vom AI Act betroffen?"
Die typische Antwort: "Das kommt darauf an. Wenn der Chatbot personenbezogene Daten verarbeitet... Wenn er in einem Hochrisiko-Bereich eingesetzt wird... Wenn er Entscheidungen trifft, die..."
500 Wörter später hast du keine Antwort, sondern eine Liste von Bedingungen.
4.1 LLMs kennen dein Projekt nicht
Ein General-Purpose-LLM weiß nicht:
Was dein Produkt konkret tut
In welchen Ländern du es anbietest
Ob du Anbieter, Betreiber oder Importeur bist
Welche Daten du verarbeitest
Für welchen Zweck das System eingesetzt wird
Es kann nur generische Antworten geben. Die Übersetzung auf deine Situation bleibt bei dir.
4.2 Was projektspezifische Analyse bedeutet
Ein Compliance-Tool das für diesen Zweck gebaut wurde, arbeitet anders:
1. Du beschreibst dein Projekt: "Wir entwickeln eine KI für die Kreditwürdigkeitsprüfung für Banken in Deutschland und Frankreich."
2. Spezialisierte Agenten analysieren systematisch:
Anwendungsbereich: Gilt die KI-VO? → Ja (EU-Inverkehrbringung, natürliche Personen betroffen)
Rolle: Was bist du? → Anbieter (entwickelt und stellt bereit)
Risikoklasse: Welche Kategorie? → Hochrisiko (Anhang III Nr. 5b — Kreditwürdigkeit)
Pflichten: Was musst du tun? → 15 konkrete Pflichten mit Artikelverweise
3. Das Ergebnis: Keine "Es kommt darauf an"-Antwort, sondern eine Liste deiner Pflichten mit Fristen und Handlungsschritten.
5. Das Datenschutz-Problem — Schatten-KI und IP-Verlust
Dieses Problem wird unterschätzt.
Wenn du dein Projekt in ChatGPT, Claude oder Gemini beschreibst, gibst du möglicherweise sensible Informationen preis:
Produktbeschreibungen und Roadmaps
Technische Architektur
Geschäftsmodelle
Kundendaten-Kategorien
5.1 Wo landen deine Daten?
Die meisten LLM-Anbieter sind US-Unternehmen. Deine Eingaben werden in US-Cloud-Infrastruktur verarbeitet — auch wenn du die "Dont train on my data"-Option aktiviert hast.
Für viele Unternehmen ist das ein Compliance-Problem in sich selbst: Du fragst ein US-Tool nach EU-Compliance und verletzt dabei möglicherweise deine eigenen Datenschutz-Richtlinien.
5.2 Schatten-KI als Unternehmensrisiko
Dieses Problem ist größer als die meisten denken — und die Zahlen sind alarmierend.
Laut einer Studie von UpGuard (November 2025) nutzen 81% der Mitarbeiter und sogar 88% der Sicherheitsverantwortlichen nicht genehmigte KI-Tools für ihre Arbeit.
Der Menlo Security Report (2025) zeigt: 68% der Mitarbeiter nutzen kostenlose KI-Tools über persönliche Accounts — und 57% geben dabei sensible Unternehmensdaten ein.
Was wird geteilt? Die BlackFog-Studie (Januar 2026) liefert konkrete Zahlen:
33% der Mitarbeiter haben Forschungsdaten oder Datensätze geteilt
27% haben Mitarbeiterdaten wie Namen, Gehälter oder Leistungsbewertungen eingegeben
23% haben Finanzberichte oder Verkaufsdaten hochgeladen
Die finanziellen Konsequenzen sind real: Laut IBMs Cost of Data Breach Report 2025 kosten KI-bezogene Datenpannen Unternehmen durchschnittlich mehr als 650.000 US-Dollar pro Vorfall — Strafen für fehlende KI-Governance nicht eingerechnet.
Das ist nicht nur ein Datenschutz-Problem. Es ist ein IP-Risiko, ein Compliance-Risiko, und ein finanzielles Risiko.
5.3 Die Alternative: EU-souveräne Lösungen
Es gibt Tools die bewusst auf EU-Infrastruktur setzen:
Hosting in deutschen/europäischen Rechenzentren
EU-basierte LLM-Anbieter (z.B. Mistral AI)
Keine Datenübertragung in Drittländer
Für Compliance-Themen ist das kein Nice-to-have, sondern Konsistenz: Du willst EU-Compliance prüfen, ohne dabei EU-Datenschutz zu verletzen.
6. Was du stattdessen tun kannst
Ich sage nicht "Nutze niemals ChatGPT für Compliance-Fragen." Ich sage: Nutze es nicht als einzige Quelle.
Hier sind die Alternativen:
6.1 Option 1: Selbst recherchieren (aufwändig, aber gründlich)
Die offiziellen Quellen sind frei zugänglich:
EUR-Lex: Der vollständige Text der KI-Verordnung (EU) 2024/1689
AI Act Explorer: Interaktive Navigation durch die Artikel
AI Act Service Desk: Offizielle Guidelines und FAQs
Bundesnestagentur: zuständige Behörde für KI-Verordnung Umsetzung in Deutschland
Der Aufwand: Hoch. Die 458 Seiten zu lesen und auf dein Projekt anzuwenden dauert Wochen, nicht Stunden. Aber du hast die Primärquellen.
6.2 Option 2: Spezialisierte Tools mit RAG und Quellenangaben
Es gibt Tools die spezifisch für Compliance gebaut wurden — mit wichtigen Unterschieden zu General-Purpose-LLMs.
Worauf du achten solltest:
Werden Quellen angegeben und sind sie verifizierbar?
Basiert die Analyse auf aktuellen Gesetzestexten (RAG) oder nur auf Trainingsdaten?
Gibt es einen Audit Trail für deine Assessments?
Wo werden deine Daten verarbeitet?
Wir haben mit TrustTroiAI selbst ein solches Tool gebaut — aus genau der Frustration heraus, die ich am Anfang beschrieben habe. Mit 7 spezialisierten Agenten, die dein Projekt systematisch analysieren, klickbaren Artikelreferenzen, und optionaler Expert-Validierung durch echte Juristen.
Aber wir sind nicht die einzige Option. Es gibt auch andere Anbieter in diesem Bereich.
6.3 Option 3: Experten konsultieren (teuer, aber verlässlich)
Für kritische Entscheidungen — besonders bei Hochrisiko-KI-Systemen — ist rechtliche Beratung durch spezialisierte Anwälte oft unersetzlich.
Der Nachteil: Kosten. Eine Compliance-Prüfung durch eine Kanzlei kostet schnell 2.000 bis 10.000 Euro.
Der Vorteil: Du bekommst eine belastbare Einschätzung, die du im Zweifelsfall vor Behörden oder Investoren verteidigen kannst.
Unser Ansatz bei TrustTroiAI: KI für die Erstanalyse, Human-in-the-Loop für die Validierung. So bekommst du die Geschwindigkeit von KI mit der Verlässlichkeit von Expert-Prüfung — zu einem Bruchteil der Kanzlei-Kosten.
7. Fazit: Das richtige Tool für den richtigen Zweck
ChatGPT, Claude, Gemini und Grok sind fantastische Tools. Für Brainstorming. Für Textentwürfe. Für Code-Unterstützung. Für das Zusammenfassen komplexer Themen.
Aber für Compliance-Fragen — wo ein falscher Artikel, eine veraltete Frist oder eine fehlende Quellenangabe ernsthafte Konsequenzen haben kann — sind sie nicht gebaut.
Das liegt nicht daran, dass sie "schlecht" sind. Es liegt daran, dass sie für einen anderen Zweck entwickelt wurden.
Für die KI-Verordnung brauchst du:
Aktuelle, verifizierte Quellen — nicht Trainingsdaten von vor einem Jahr
Nachvollziehbare Referenzen — nicht "Trust me"
Projektspezifische Analyse — nicht "Es kommt darauf an"
Dokumentation für Audits — nicht flüchtige Chat-Verläufe
EU-konforme Datenverarbeitung — nicht US-Cloud für EU-Compliance
Das kann ein General-Purpose-LLM nicht leisten. Dafür braucht es spezialisierte Tools.
Für wen wir TrustTroiAI gebaut haben
Wir haben TrustTroiAI nicht für Juristen gebaut. Wir haben es für die Menschen gebaut, die plötzlich Compliance-Verantwortung tragen — ohne Legal-Budget und ohne juristische Ausbildung.
Für Gründer und CEOs: Der Investor fragt nach dem EU AI Act — und du brauchst eine Antwort, keine Ausrede. TrustTroiAI gibt dir Klarheit für deine Due Diligence.
Für Product Manager: Legal antwortet in drei Wochen, aber du brauchst die Antwort in drei Stunden. Unser 7-Agenten-System analysiert dein Projekt und liefert konkrete Pflichten mit Artikelverweisen.
Für CTOs und Entwickler: Regulierungstexte lesen sich wie Juristenprosa? Wir übersetzen sie in technische Checklisten — mit klickbaren Quellenangaben, die du selbst prüfen kannst.
Für Berater und Consultants: Jedes Assessment von Hand erstellen kostet Zeit. TrustTroiAI skaliert mit dir — für mehrere Kunden, mit dokumentierten Ergebnissen.
Zwei Wege, TrustTroiAI kennenzulernen:
Scope Check — Beschreib dein Projekt in 2-3 Sätzen und erfahre sofort, welche EU-Regulierungen dich betreffen. Kostenlos, keine Registrierung.
Explorer Modus — Erkunde das Tool in deinem eigenen Tempo. Sieh dir an, wie die 7-Agenten-Analyse funktioniert und was ein vollständiges Assessment liefert.
Comments