Drei Sprachforscher aus New York und aus Austin in Texas haben untersucht, warum Sprachmodelle oft so anstrengend schreiben. Sprachmodelle sind KI-Programme, die aus riesigen Textmengen gelernt haben, wie Sprache gebaut ist. Dazu gehören ChatGPT von OpenAI und Claude von Anthropic. Für ihre Studie sammelten die Forscher Chat-Gespräche, Antworten auf Programmierfragen und Aufsätze zu Schulthemen von 14 solcher Modelle.
Nach früheren Untersuchungen lesen sich bestimmte Satzbauten schwerer. Die Forscher zählten, wie oft solche Satzbauten in den KI-Texten stehen: Wortpaare, die in menschlichen Texten kaum vorkommen, lange Einschübe vor dem Verb und Sätze, in denen Dinge wie Menschen handeln. Eine Fassung von Claude schrieb etwa, hier übersetzt: „Die Gitarre, die in der Ecke steht, weil du dich noch ‚entscheidest‘, bringt dir null Akkorde bei.“ Bis das Verb kommt, muss der Leser die Gitarre im Kopf behalten. Zugleich handelt die Gitarre wie ein Mensch: Sie bringt etwas bei.
Zum Vergleich nahmen die Forscher Texte von Menschen. Außerdem ließen sie die KI-Texte von einer Software ins Japanische und zurück ins Englische übersetzen. Dabei entsteht ein Text mit demselben Inhalt in anderen Worten.
Alle großen Modelle verwendeten mehr seltene Wortpaare als Menschen. In den Chat-Gesprächen setzten die meisten auch häufiger lange Einschübe vor das Verb. Bei mehreren Merkmalen hatten die Rückübersetzungen weniger schwierige Satzbauten als die Originale. Am Inhalt allein kann das also nicht liegen. Einige kleinere Modelle, die jeder herunterladen kann, kamen menschlichen Texten am nächsten, etwa Llama vom Facebook-Konzern Meta.
Die Forscher vermuten die Ursache im letzten Abschnitt des Trainings. Dort bekommt ein Modell Punkte für gute Antworten und lernt, möglichst viele zu sammeln. Früher vergaben vor allem Menschen diese Punkte. Heute üben die Modelle viel mit Rechenaufgaben und Programmcode, und ein Rechner prüft nur, ob das Ergebnis stimmt. Für gut lesbare Sätze gibt es dabei kaum Punkte. So entstehe ein dichter Stil, der viel Information in wenige Wörter packt, meinen die Forscher.
In einem Versuch der Forscher bekam ein kleines Modell Punktabzug für lange Antworten. Im Englischen kann man etwa in manchen Nebensätzen das Bindewort „that“ weglassen. Der Satz bedeutet dasselbe und wird kürzer. Je stärker der Abzug, desto öfter wählte das Modell die kürzere Form.
Die Forscher haben nicht gemessen, ob Menschen die KI-Texte wirklich langsamer lesen oder schlechter verstehen. Die neuere Claude-Fassung Opus 5.5 zeigte fast überall weniger dieser Merkmale als ihr Vorgänger Opus 5.