KI-Modelle erfinden manchmal Dinge — sie behaupten mit voller Überzeugung „Fakten", die völlig falsch sind. Das nennt man Halluzination. Das passiert, weil das Modell Fakten nicht wie eine Datenbank speichert. Es hat Milliarden von Seiten in statistische Muster komprimiert — welche Wörter tendenziell auf andere Wörter folgen. Wenn du eine Frage stellst, generiert es die plausibelste Fortsetzung, egal ob sie tatsächlich wahr ist.

Das ist das Kernproblem: Das Modell hat kein internes „Vertrauensmeter", das mit faktischer Genauigkeit verknüpft ist. Jedes Token, das es generiert, wird nach Plausibilität gewählt, nicht nach Wahrheit — deshalb können erfundene Details genauso autoritativ klingen wie echte. Richtig klingen und richtig sein sind zwei verschiedene Dinge.

Zu verstehen, woher Wissen kommt, hilft dir, diese Fehler zu erkennen. Es befindet sich an zwei Orten: Parameter (Fakten, die während des Trainings ins Modell eingebrannt wurden — wie ein Lehrbuch, das du auswendig gelernt hast) und das Kontextfenster (Informationen, die du in der aktuellen Konversation bereitstellst — wie ein offenes Notizbuch auf deinem Schreibtisch).

Moderne Systeme mildern Halluzinationen mit Websuche, Tool-Nutzung und Retrieval-Augmented Generation (RAG) ab — sie lassen das Modell Dinge nachschlagen, statt sich allein auf sein Gedächtnis zu verlassen. Aber sie können nicht vollständig eliminiert werden. Das Modell generiert seine Antwort immer noch Token für Token und wählt das, was am wahrscheinlichsten klingt — und manchmal ist „am wahrscheinlichsten" einfach nicht wahr.