Lerneinheit 7 · ERFUNDENE URTEILE, ERFUNDENE MENSCHEN
Ein Anwalt in New York legte dem Gericht sechs Urteile vor, die es nie gegeben hat. ChatGPT hatte sie ihm genannt, jedes mit Fundstelle. Man sagt dann, das Programm habe halluziniert. Das Wort führt in die Irre. Der Film zeigt an einer kleinen Maschine, die jeder selbst nachrechnen kann, was stattdessen passiert.
Der Film
Vom erfundenen Urteil bis zu der Frage, wer dafür geradesteht. Mit eigenen Messungen an einem frei verfügbaren Sprachmodell und den Zahlen, die OpenAI und Anthropic 2025 zu dem Thema veröffentlicht haben.
Wer halluziniert, sieht oder hört etwas, das nicht da ist, und hält es für echt. In einem Programm wie ChatGPT hält nichts etwas für echt oder für falsch. Es denkt sich auch nichts aus, und es lügt nicht. Dazu bräuchte es Einfälle und Absichten, und beides hat es nicht.
Was es hat, ist eine Liste. Für jedes Wort, das es schreibt, rechnet es aus, wie wahrscheinlich jedes mögliche nächste Wort ist, und zieht daraus eines. Steht etwas oft genug in den gelesenen Texten, ragt ein Balken heraus. Steht nichts darin, bleibt die Liste flach, und es wird trotzdem gezogen. Aufhören, weil nichts passt, ist nicht vorgesehen.
Der Nobelpreisträger Geoffrey Hinton schlägt ein anderes Wort vor: Konfabulation. So heißt es in der Medizin, wenn Menschen Gedächtnislücken mit stimmigen, aber falschen Erinnerungen füllen, ohne lügen zu wollen. Das trifft es besser. Aber auch dieses Wort beschreibt Menschen.
Für den Film habe ich einen Namen erfunden, Konrad Wallerhofer, und einer kleinen, frei verfügbaren Maschine den Satzanfang „Konrad Wallerhofer wurde am“ gegeben. Fünfmal hintereinander, jedes Mal von vorn. Heraus kamen fünf verschiedene Geburtsdaten, fünf Geburtsorte, ein Oberzollmeister als Vater und ein Buch, das es nicht gibt.
Gemessen an German GPT-2, einem für Deutsch gebauten Sprachmodell mit 124 Millionen Reglern. Die letzte Zahl stammt aus einem Vergleich von 25 berühmten und 25 erfundenen Namen.
Beim Lernen setzt sich fest, was oft vorkommt. Steht jeder fünfte Geburtstag nur ein einziges Mal in den Texten, liegt das Modell danach bei mindestens jeder fünften Geburtstagsfrage daneben. Mit der Größe rückt die Grenze nach außen, weg ist sie nicht.
Die Tests nach dem Training funktionieren wie ein Multiple-Choice-Bogen: Raten bringt eine kleine Chance, „weiß ich nicht“ bringt sicher null Punkte. So lernt ein Modell, lieber irgendetwas zu sagen. Die falschen Antworten entstehen beim Lernen. Dass sie bleiben, liegt an der Art, wie geprüft wird.
Denkmodelle schreiben sich vor der Antwort Zwischenschritte auf. Bei Rechnen und Logik hilft das sehr. Bei Tatsachen nicht: Was nicht im Modell steckt, holt auch langes Nachdenken nicht heraus. In einer Messung von OpenAI antworteten zwei neuere Denkmodelle häufiger falsch als ein älteres.
Schalten Sie die Suche ein oder geben Sie die Unterlagen gleich mit. Dann muss das Modell die Tatsache nicht aus gelernten Zahlen zusammensetzen. Sie steht als Text vor ihm, und es liest ab.
Verlangen Sie, dass das Programm offen sagt, wenn es etwas nicht weiß, und keine Quellen erfindet. In vielen Chatprogrammen lässt sich so eine Anweisung dauerhaft hinterlegen. Anthropic schreibt, das verringere falsche Angaben deutlich. Ein sicherer Schutz ist es nicht.
Der Anwalt in New York hat ChatGPT gefragt, ob es den Fall gibt. Es sagte ja. Nachgesehen hat er in der Datenbank nicht. Genau dieser Schritt fehlte.
Am besten jedes Mal in einem neuen Gespräch. Kommen fünf verschiedene Antworten wie bei Konrad Wallerhofer, fehlt die Grundlage. Kommt immer dasselbe, ist das ein gutes Zeichen, aber kein Beweis.
Und wenn das Programm „weiß ich nicht“ antwortet: Das ist eine gute Antwort. Ein Programm ohne Willen kann keine Verantwortung tragen. Air Canada hat 2024 vor Gericht versucht, sie dem eigenen Chatbot zuzuschieben, und verloren.
Stand: September 2026. Bild, Stimme und Schnitt des Films sind vollständig mit KI erzeugt. Er trägt deshalb oben rechts den Hinweis „KI-generiert“.
Wie die Liste für das nächste Wort überhaupt entsteht?
Wie ein Sprachmodell funktioniert →