KI-Halluzinationen: Warum Unternehmen den KI-Output nicht ungeprüft übernehmen dürfen
Generative KI kann Prozesse beschleunigen, Inhalte strukturieren und die tägliche Arbeit deutlich effizienter machen. Gleichzeitig zeigt sich immer klarer, dass KI-Systeme nicht nur fehleranfällig sind, sondern mitunter auch überzeugend klingende Falschinformationen erzeugen. Diese sogenannten Halluzinationen betreffen längst nicht mehr nur einzelne Fehlgriffe im Arbeitsalltag. Sie entwickeln sich zunehmend zu einem rechtlichen, wirtschaftlichen und organisatorischen Risiko – insbesondere dort, wo KI-Output ungeprüft in Schriftsätze, Berichte, Plattformantworten, Kundenkommunikation oder öffentliche Inhalte übernommen wird.
Erste Gerichte ziehen klare Grenzen
Die deutsche Rechtsprechung beginnt inzwischen, sich sichtbar mit diesem Phänomen auseinanderzusetzen. Besonders deutlich wurde dies durch den Beschluss des AG Köln vom 2. Juli 2025 (312 F 130/25). Das Gericht stellte fest, dass in einem anwaltlichen Schriftsatz mehrere zitierte Fundstellen und rechtliche Aussagen offenbar mittels künstlicher Intelligenz generiert und frei erfunden waren. Die richterliche Kritik war deutlich: Derartige Ausführungen erschwerten die Rechtsfindung, führten unkundige Leser in die Irre und schadeten dem Ansehen von Rechtsstaat und Anwaltschaft.
Auch das LG Frankfurt a. M. befasste sich 2025 mit halluzinierten Rechtsprechungsnachweisen in einem anwaltlichen Schriftsatz. Dort ging es um angebliche BGH-Entscheidungen, die in Wahrheit nicht existierten. Die Entscheidung zeigt, dass es sich nicht mehr um einen Einzelfall handelt, sondern Gerichte inzwischen sensibel auf KI-generierte Fehlzitate und erfundene Quellen reagieren.
Das Problem reicht weit über die Anwaltschaft hinaus
Die Relevanz von KI-Halluzinationen endet aber nicht bei Schriftsätzen. Besonders anschaulich ist der Fall Deloitte Australien: Ein Bericht für die australische Regierung, für den rund 440.000 australische Dollar gezahlt wurden, enthielt nach Medienberichten zahlreiche fehlerhafte oder frei erfundene Quellen und Zitate. Deloitte räumte später den Einsatz von Azure OpenAI GPT-4o ein und erklärte sich zu einer teilweisen Rückzahlung bereit. Der Fall zeigt, dass ungeprüfter KI-Output nicht nur juristische, sondern auch erhebliche vertragliche, wirtschaftliche und reputative Folgen haben kann.
Hinzu kommt: Halluzinationen können auch äußerungsrechtliche Risiken auslösen. Das LG Hamburg untersagte X.AI LLC im September 2025 im Eilverfahren, eine vom KI-Bot „Grok“ verbreitete halluzinierte Tatsachenbehauptung über Campact weiter zu verbreiten. Bemerkenswert ist daran vor allem, dass das Gericht den Betreiber nicht mit dem Hinweis auf übliche KI-Disclaimer entlastete, sondern die falsche Tatsachenbehauptung dem Betreiber zurechnete.
Halluzinationen sind kein Technikproblem allein, sondern ein Governance-Thema
Die aktuellen Fälle machen deutlich, dass Halluzinationen nicht allein als technisches Qualitätsproblem verstanden werden dürfen. In der Praxis geht es um eine viel grundlegendere Frage: Wer trägt Verantwortung für KI-generierte Inhalte, wenn diese in rechtlich oder wirtschaftlich relevanten Kontexten verwendet werden? Genau an diesem Punkt verschiebt sich die Diskussion von der Technologie hin zu Sorgfalt, Prüfung, Freigabe und Verantwortungszuordnung.
Das gilt für Kanzleien ebenso wie für Unternehmen, Beratungen, Plattformbetreiber und Kommunikationsabteilungen. Wer KI-generierte Inhalte ungeprüft übernimmt, läuft Gefahr, dass sich Fehler nicht nur intern auswirken, sondern nach außen in rechtsverbindliche, geschäftsrelevante oder öffentlichkeitswirksame Kontexte gelangen. Gerade weil Halluzinationen häufig sprachlich sehr überzeugend auftreten, besteht das besondere Risiko darin, dass sie zu spät erkannt oder gar nicht hinterfragt werden.
Was Unternehmen jetzt tun sollten
Unternehmen sollten den Einsatz generativer KI daher nicht nur unter Effizienzgesichtspunkten betrachten, sondern als steuerungsbedürftigen Risikoanwendungsfall. Entscheidend ist dabei vor allem, an welchen Stellen KI für Recherchen, Zusammenfassungen, Entwürfe, Bewertungen oder öffentlichkeitswirksame Aussagen genutzt wird und ob diese Inhalte vor ihrer Verwendung einer belastbaren menschlichen Prüfung unterzogen werden. Besonders kritisch sind Konstellationen, in denen KI-Output in Berichte, Präsentationen, Gutachten, Mandantenkommunikation, Marketing, Plattformantworten oder externe Stellungnahmen einfließt.
Die Leitlinie muss dabei klar sein: KI kann unterstützen, aber Verantwortung nicht ersetzen. Die BRAK hat für die Anwaltschaft genau diesen Grundsatz ausdrücklich hervorgehoben und verlangt eine eigenverantwortliche Überprüfung und Endkontrolle von KI-Ergebnissen. In der Sache lässt sich dieser Gedanke ohne Weiteres auf andere professionelle Kontexte übertragen: Wo Aussagen rechtlich, wirtschaftlich oder reputationsseitig relevant werden, genügt ein bloßes Vertrauen in den generierten Output nicht.
Wie Bitkom Consult unterstützt
Bitkom Consult unterstützt Unternehmen dabei, den Einsatz generativer KI rechtssicher, belastbar und organisatorisch sauber auszugestalten. Dazu gehören insbesondere die Bewertung konkreter Use Cases, die Entwicklung interner KI-Governance- und Freigabeprozesse, die Einordnung von Haftungs-, Compliance- und Transparenzrisiken sowie praxisnahe Schulungen zum sicheren Umgang mit KI-Output und Halluzinationsrisiken. So lässt sich der Produktivitätsgewinn durch KI nutzen, ohne Qualität, Verlässlichkeit und Verantwortlichkeit aus dem Blick zu verlieren.
