KI-Halluzination: Ursachen, Arten und Gegenmaßnahmen

Beispiel aus der Praxis

Ein typisches Szenario: Ein Sprachmodell soll aus Rechnungen Rechnungsnummer, Datum, Betrag und Lieferant auslesen. Die Ausgabe ist über Structured Output an ein Schema gebunden, jedes Feld ist Pflicht. Bei einer schlecht gescannten Rechnung ist das Datum nicht lesbar.

Das Schema verlangt trotzdem ein Datum, und das Modell liefert eines: ein gültiges, plausibles Datum, das aber nicht auf dem Beleg steht. Formal ist die Antwort korrekt, inhaltlich ist sie eine Halluzination. Ohne weitere Prüfung würde sie unbemerkt in die Buchhaltung übernommen.

Die Lösung besteht aus mehreren Schichten. Das Schema erlaubt ausdrücklich einen leeren Wert für „nicht erkennbar“, und der Prompt erlaubt dem Modell, Unsicherheit anzugeben. Regeln im Workflow gleichen Beträge und Daten mit bekannten Werten ab, etwa mit einer Bestellung. Fälle mit Abweichungen oder fehlenden Feldern gehen per Human-in-the-Loop an einen Menschen, statt automatisch weiterzulaufen. Wie eine solche Prüfung als Workflow aussehen kann, zeigt die Fallstudie KI-Rechnungsprüfung.

Warum halluzinieren Sprachmodelle?

OpenAI definiert Halluzinationen als plausible, aber falsche Aussagen, die Sprachmodelle erzeugen (OpenAI, 2025). Die Ursachen liegen in der Art, wie diese Modelle lernen und bewertet werden.

Ein LLM lernt im Vortraining, das nächste Wort in großen Textmengen vorherzusagen. Dabei sieht es nur Beispiele flüssiger Sprache, keine Kennzeichnung, welche Aussagen wahr oder falsch sind. Regelmäßige Muster wie Rechtschreibung lernt es mit wachsender Größe zuverlässig, seltene Einzelfakten wie ein bestimmter Geburtstag lassen sich aus Mustern dagegen nicht ableiten (OpenAI, 2025).

Hinzu kommt die Bewertung. OpenAI argumentiert, dass übliche Benchmarks nur die Trefferquote messen. Ein Modell, das bei Unsicherheit rät, erzielt dort mehr Punkte als eines, das „Ich weiß es nicht“ sagt, ähnlich wie bei einem Multiple-Choice-Test ohne Abzug für falsche Antworten (OpenAI, 2025). Die Folge sind Modelle, die eher selbstbewusst raten als Unsicherheit zuzugeben.

Huang et al. ordnen die Ursachen in drei Bereiche: Daten, etwa fehlerhafte oder veraltete Trainingsdaten und seltenes Spezialwissen; Training, etwa Feinabstimmung, die Modelle zu gefälligen Antworten verleitet; und Inferenz, also die Art, wie Text beim Erzeugen ausgewählt wird (Huang et al., Survey on Hallucination). Auch die Wissensgrenze spielt eine Rolle: Nach dem Training wird das interne Wissen eines Modells nicht mehr aktualisiert.

Welche Arten von KI-Halluzinationen gibt es?

Huang et al. unterscheiden zwei Hauptarten (Huang et al., Survey on Hallucination):

Für Automatisierungen ist die zweite Art besonders relevant. Selbst wenn ein System dem Modell das richtige Dokument mitgibt, kann die Antwort davon abweichen. Ein langer Kontext verstärkt das Risiko: Liu et al. zeigten, dass Modelle Informationen in der Mitte langer Kontexte schlechter nutzen als am Anfang oder Ende (Liu et al., 2024). Mehr dazu im Eintrag Kontextfenster.

Wie lassen sich KI-Halluzinationen reduzieren?

Keine einzelne Maßnahme beseitigt Halluzinationen. Anthropic betont, dass die empfohlenen Techniken Halluzinationen deutlich verringern, aber nicht ausschließen, und kritische Informationen weiterhin geprüft werden müssen (Anthropic, Reduce hallucinations). Wirksam ist eine Kombination mehrerer Schichten:

Google beschreibt Grounding als Fähigkeit, die Ausgabe eines Modells mit überprüfbaren Informationsquellen zu verbinden. Das binde die Antworten an diese Daten, verringere die Wahrscheinlichkeit erfundener Inhalte und mache Antworten über Quellenlinks nachvollziehbar (Google Cloud, Grounding overview). RAG ist eine Form davon: Das Modell erhält zu jeder Frage Abschnitte aus einer geprüften Wissensbasis.

Anthropic nennt konkrete Prompt-Techniken: dem Modell ausdrücklich erlauben, Unsicherheit zuzugeben; bei langen Dokumenten über 20.000 Tokens zuerst wörtliche Zitate herausziehen lassen und erst dann die Aufgabe bearbeiten; zu jeder Aussage ein belegendes Zitat verlangen und Aussagen ohne Beleg zurückziehen lassen; das Modell anweisen, nur die bereitgestellten Dokumente zu verwenden (Anthropic, Reduce hallucinations). Als fortgeschrittene Technik empfiehlt Anthropic, denselben Prompt mehrfach auszuführen und die Antworten zu vergleichen, weil Abweichungen auf Halluzinationen hindeuten können (Anthropic, Reduce hallucinations).

Wie erkennt man KI-Halluzinationen?

Halluzinationen lassen sich am Tonfall nicht erkennen, weil das Modell falsche und richtige Aussagen gleich sicher formuliert. Zuverlässiger sind Prüfungen gegen Quellen: Steht die behauptete Zahl im mitgelieferten Dokument? Existiert die genannte Quelle? Passt der ausgelesene Betrag zur Summe der Positionen?

In Automatisierungen lassen sich viele dieser Prüfungen als Regeln abbilden, etwa Plausibilitätschecks, Abgleich mit Stammdaten oder Pflicht zu einer Quellenangabe. Was sich nicht automatisch prüfen lässt und Folgen hat, gehört in eine menschliche Freigabe. Ein KI-Agent, der selbstständig Aktionen auslöst, braucht diese Schichten besonders, weil eine Halluzination dort nicht nur eine falsche Antwort, sondern eine falsche Handlung auslösen kann.