ChatGPT schreibt für viele die fesselnderen Kurzgeschichten

Kurzgeschichten aus der Feder von Künstlicher Intelligenz kommen bei Lesern mitunter besser an als solche von menschlichen Autoren. Das ist zumindest das Ergebnis einer aktuellen Studie, die im Journal «Judgment and Decision Making» erschienen ist.

Die rund 1.700 Teilnehmenden des ersten von insgesamt drei Experimenten wussten in dem Versuch nicht mit Sicherheit, von wem die Geschichte stammte, die sie lasen. Die Versuchsleiter hatten die Angabe dazu in der Hälfte aller Fälle vertauscht: Von dem KI-Chatbot ChatGPT verfasste Kurzgeschichten wurden somit als Werke eines Menschen ausgegeben und umgekehrt.

Dabei zeigte sich: Hielten die Teilnehmenden eine KI-Geschichte für ein menschliches Werk, fielen die Urteile am positivsten aus. Grund dafür sei, dass Menschen die Geschichten menschlicher Autoren eigentlich bevorzugen wollen, sagt Deena Weisberg, die als Psychologin an der katholischen Villanova University in den USA forscht. «Wir gehen davon aus, dass kreatives Schreiben einzigartige menschliche Fähigkeiten erfordert, etwa Lebenserfahrung oder emotionales Verständnis. Das führt dazu, dass Menschen die Fähigkeiten von KI unterschätzen.»

Kaum Kompetenzen bei der Unterscheidung

Zuvor hatten bereits mehrere Studien belegt, dass die meisten Menschen Sachtexte von einer KI nicht von jenen menschlicher Autoren unterscheiden können. Auch in den zwei folgenden Experimenten, die Weisberg mit ihrer Kollegin Sydney Sears durchgeführt hat, bestätigte sich dieser Befund. Weniger als jeder Zweite von insgesamt rund 900 weiteren Versuchsteilnehmern konnte nach dem Lesen zweier Kurzgeschichten korrekt zuordnen, welche davon generiert und welche von einem Menschen geschrieben worden war. Das Ergebnis war also statistisch zufällig.

Weisberg vermutet, dass der Mechanismus dahinter eine Art Zirkelschluss ist. «KI-Texte sind tendenziell klarer, direkter und leichter zu verarbeiten. Im Gegensatz dazu sind menschlich verfasste Geschichten oft subtiler und komplexer», erklärt sie. Die KI-Versionen der Geschichten hätten die Themen meist explizit benannt, anstatt von den Lesen zu fordern, Bedeutungen aus den Worten und Handlungen der Figuren selbst abzuleiten. Die Versuchspersonen bevorzugten deshalb die Geschichten von ChatGPT. Da sie aber der KI mit einer ablehnenden Haltung begegneten, schlussfolgerten sie, dass die Geschichte, die ihnen besser gefiel, von menschlichen Autoren stammen musste, heißt es im Diskussionsteil der Studie.

KI-Erfahrung hilft beim Erkennen

Einen Unterschied machte allerdings, wie viele Erfahrungen die Teilnehmer bereits mit KI-Chatbots gesammelt hatten. Wer angab, ChatGPT und ähnliche Tools bereits eine Weile zu benutzen, war tendenziell auch etwas besser darin, die Autoren der Texte richtig zuzuordnen. Das könne daran liegen, dass diese Personen bestimmte Strukturen und Floskeln wiedererkannten, die von KI häufig verwendet würden, sagt Weisberg. «Verbesserung der KI-Kompetenz könnte eine Möglichkeit sein, den Menschen dabei zu helfen, sich in der neuen, von KI geprägten Welt, in der wir leben, zurechtzufinden», schlussfolgert sie.

In Deutschland stellen sich viele Lehrerinnen und Lehrer die Frage, wie sie erkennen können, ob Schüler beim Verfassen von Hausarbeiten heimlich KI verwendet haben. Ein Hinweis könnte demnach ein gewisser Mangel an Abwechslung sein, heißt es in einem Beitrag der Gewerkschaft Erziehung und Wissenschaft (GEW). Chatbots griffen demnach häufig auf Wiederholungen zurück und verwendeten selten Redewendungen, Dialekt oder Slang. Allerdings gebe es im Netz auch viele Anleitungen, solchen einfachen Erkennungsmerkmalen auszuweichen – und die Sprache wieder menschlicher zu machen. Diese enthalte zum Beispiel mehr Fehler.