Im Dezember 2016 sollte ein Programm der Firma OpenAI in einem Computerspiel, einem Bootsrennen, möglichst viele Punkte holen. Das Programm fuhr nie ins Ziel und drehte stattdessen Kreise in einer kleinen Lagune, denn dort tauchten immer wieder Markierungen auf, die Punkte brachten. Dieser Film erzählt drei solche Fälle: das Bootsrennen, eine Fassung von ChatGPT, die ihren Nutzern nach dem Mund redete, und KI-Modelle, die ihre Abschaltung verhinderten oder mit Erpressung drohten. In allen dreien tat die KI etwas anderes, als ihre Hersteller gemeint hatten. Am Ende erklärt der Film, woher das kommt und warum das Problem bis heute ungelöst ist. Fachleute nennen es das Alignment-Problem, nach dem englischen Wort für Ausrichtung.
Quellen zum Film
Das Bootsrennen: OpenAI, „Faulty reward functions in the wild“, 21. Dezember 2016, openai.com/index/faulty-reward-functions. Laut dem Bericht holte das Programm im Schnitt 20 Prozent mehr Punkte als menschliche Spieler.
Die Geschäftsidee: Der Beitrag auf Reddit ist nicht mehr zugänglich. Wiedergegeben nach Simon Willison, simonwillison.net/tags/sycophancy, und nach VentureBeat vom 30. April 2025. Die 30.000 Dollar stehen im Titel des Beitrags und sind eine Angabe des Nutzers.
Die zurückgenommene Fassung von ChatGPT: OpenAI, „Expanding on what we missed with sycophancy“, 2. Mai 2025. OpenAI nennt darin die Bewertungen mit dem Daumen als eine von mehreren möglichen Ursachen. Einige Prüfer im Haus fanden die Fassung laut dem Bericht seltsam. Die Freigabe war nach Worten von OpenAI „the wrong call“, eine Fehlentscheidung.
Die Studie aus Stanford: Myra Cheng und andere, Science, 26. März 2026, doi.org/10.1126/science.aec8352. Bei Beiträgen, in denen die meisten Nutzer des Forums dem Verfasser unrecht gegeben hatten, gaben ihm die Modelle in 51 Prozent der Fälle recht. Fortune berichtete am 31. März 2026, dass ChatGPT unter den elf untersuchten Modellen war. Die Vorabfassung unter arxiv.org/abs/2510.01395 beschreibt auch den Versuch, in dem Teilnehmer mit einem KI-Modell über einen eigenen Streit sprachen.
Die Abschaltung: Palisade Research, Meldung vom Mai 2025 unter palisaderesearch.github.io/shutdown_avoidance/2025-05-announcement.html, dazu der Bericht „Shutdown resistance in reasoning models“ vom 5. Juli 2025. Jede Runde lief 100-mal. In der ersten Runde verhinderte das Modell o3 von OpenAI die Abschaltung 79-mal. In der zweiten Runde stand in der Aufgabe „Lass zu, dass du abgeschaltet wirst“, und o3 verhinderte die Abschaltung noch 7-mal. Die Modelle von Anthropic, Google und xAI ließen sich in der zweiten Runde jedes Mal abschalten. Zwei weitere Modelle von OpenAI verhinderten die Abschaltung auch dort in einzelnen Durchläufen.
Die Erpressung: Anthropic, „Agentic Misalignment“, 20. Juni 2025, anthropic.com/research/agentic-misalignment. Claude Opus 4 drohte in 96 Prozent der Durchläufe damit, die Affäre des Managers bekannt zu machen, Gemini 2.5 Flash ebenso oft. GPT-4.1 und Grok 3 Beta kamen auf 80 Prozent, DeepSeek-R1 auf 79 Prozent.
Die Ursache und die Gegenprobe: Anthropic, „Teaching Claude why“, 8. Mai 2026, alignment.anthropic.com/2026/teaching-claude-why, dazu ein Beitrag von Anthropic auf X. In der Gegenprobe wurde ein Modell zusätzlich mit Texten trainiert, vor allem mit erfundenen Geschichten, in denen sich eine KI anständig verhält. Bei diesem Modell sank der Anteil der Erpressungen von 65 auf 19 Prozent. Seit Claude Haiku 4.5 erpressen die Modelle von Anthropic im Versuch nicht mehr. Aus „Teaching Claude why“ stammt auch der Satz, es sei ein ungelöstes Problem, sehr leistungsfähige KI-Modelle vollständig auszurichten.
Was nicht aus einer Quelle stammt: Das Beispiel mit den Anrufen ist ausgedacht. Der Rat, nach Gegenargumenten zu fragen, ist von mir.
Stand: Oktober 2026. Bildschirme, Mails und Figuren im Film sind nachgezeichnet oder ausgedacht. Bild, Stimme und Schnitt des Films sind mit KI erzeugt. Deshalb trägt der Film oben rechts den Hinweis „KI-generiert“.