Journalismus
KI und ChatGPT
Neue Medien
Social Media
Foto: SG. Professor Stefan Gröner geht der Frage nach, ob KI auf der gleichen Höhe wie der Qualitätsjournalismus schreibt. Eine Studie berichtet über seine Erkenntnisse.
von Redaktion, am 12.03.2024
Künstliche Intelligenz im Journalismus: Eine neue Studie zeigt KI-Erfolgsfaktoren für die Optimierung komplexer, journalistischer Texte – ein Gastbeitrag von Prof. Dr. Stefan Gröner und Jonathan Posovatz (Hochschule Fresenius) für ADHIBEO.
„KI wird als Schlüsselkomponente für den zukünftigen Journalismus angesehen, vor allem als Werkzeug bei der journalistischen Texterstellung.
„Die zentrale Debatte hierbei ist, ob die Technologie den Journalisten ersetzen wird oder ob beide zusammenarbeiten müssen, um erfolgreich zu sein. Ebenfalls essenziell ist die Frage, ob KI heute überhaupt in der Lage ist, journalistische Texte von redaktionell vergleichbarer Qualität zu erstellen wie wir sie heute etwa in der ZEIT, der Süddeutschen Zeitung oder der Frankfurter Allgemeinen Zeitung lesen.“ (Prof. Dr. Stefan Gröner)
Ist dies nicht der Fall, müssen Wege gefunden werden, wie ein KI- generierter journalistischer Text im Nachhinein optimiert werden muss, um den Standards der Branche gerecht zu werden. Überlegungen wie diese beschäftigen auch die Wissenschaft, in der oft vom „algorithmischen Journalismus“, dem „computergestützten Journalismus“ oder dem „Roboterjournalismus“ gesprochen wird, wenn es darum geht, den Einsatz von KI im Journalismus zu untersuchen. Dadurch, dass KI eine große Bandbreite an Anwendungsmöglichkeiten bietet, gestaltet sich auch das Forschungsspektrum über den Einsatz im Journalismus vielfältig.
Konkret forscht die Wissenschaft heute zum Beispiel, wie KI Journalist:innen bei der Informationsgewinnung, der Nachrichtendistribution, der inhaltlichen Optimierung und der automatisierten Produktion von Inhalten helfen kann.
Der Hauptfokus liegt hierbei auf der automatisierten Produktion von Inhalten. Dieser Prozess beschreibt die Umwandlung von strukturierten Daten in einen Text unter Mitwirkung von KI. Eingesetzt wird diese Methode im Journalismus schon länger, wenn auch nur für kurze, oft wiederkehrende Nachrichten wie z.B. Wahlergebnisse, Wetterberichte oder Sportergebnisse.
Mit fortschrittlichen KI-Modellen wie ChatGPT entstehen nun neue Möglichkeiten beim Einsatz, der auch die Produktion von längeren und komplexeren, journalistischen Texten ermöglicht. Wie eine konkrete Anwendung dahingehend aussehen kann, fehlt bislang in wissenschaftlichen Forschungen. Auch gibt es von Seiten der Wissenschaft noch keine klare Antwort auf die Frage, wie eine zukünftige Zusammenarbeit zwischen den beiden Akteuren (KI einerseits und Redaktion/Journalismus anderseits) aussehen soll. Aktuelle Debatten legen nahe, dass sich das klassische Berufsbild eines heutigen Journalisten hin zu einem sogenannten „Metajournalisten“ verändern wird, der den Umgang mit KI bestmöglich beherrscht anstatt mit dieser zu konkurrieren.
Um diesen zentralen Fragen der Debatte wissenschaftliche Erkenntnisse beizusteuern, wurde im Rahmen einer empirischen Studie von Jonathan Posovatz im Studiengang Unternehmenskommunikation der Hochschule Fresenius unter Betreuung von Prof. Dr. Stefan Gröner untersucht, welche Erfolgsfaktoren für die Optimierung Transformer-generierter, komplexer journalistischer Texte entscheidend sind. Dazu wurde zunächst mit Hilfe von neuester KI in Form von ChatGPT-4 ein komplexer, journalistischer Text nach Standards qualitativer Medienangebote (wie DER SPIEGEL, Süddeutsche Zeitung, DIE ZEIT, Frankfurter Allgemeine Zeitung) erstellt. In einem weiteren Schritt wurde der erzeugte Text von einer Journalistin der Süddeutschen Zeitung nach gängigen journalistischen Qualitätsmerkmalen wie Vielfalt, Objektivität, User Value, Emotionalität und Verständlichkeit optimiert. Diese zwei Textvarianten wurden dann im Anschluss jeweils 98 Leser:innen von qualitativ hochwertigen Medienangeboten in Deutschland randomisiert innerhalb einer online-Umfrage zur Bewertung vorgelegt. Die Bewertung erfolgte dabei anhand einer Skala, die aus 24 Gegensatzpaaren gebildet wurde. Alle Gegensatzpaare wurden dabei in Form eines Adjektivs aus den journalistischen Qualitätsmerkmalen gebildet. So konnte zum Beispiel die Verständlichkeit auf der Skala von „leicht verständlich“ bis „schwer verständlich“ bewertet werden. In der späteren Auswertung war somit der Vergleich der beiden Bewertungen der jeweiligen Texte möglich. Auch konnten daraus die Erfolgsfaktoren für die Optimierung identifiziert werden, etwa wenn eine Bewertung eines Gegensatzpaares bei dem optimierten KI-Text besser ausfiel, als bei dem ursprünglichen KI-Text.
„Die Ergebnisse zeigen eine bessere Bewertung des optimierten KI-Textes in 22 von 24 der Bewertungskriterien der Skala, wobei 19 dieser Bewertungen statistisch signifikant waren“, so die Forscher der Hochschulstudie.
Nur in der Kategorie „emotional“ bis „nüchtern“ schnitt der ursprüngliche KI-Text „besser“ ab, weil er emotionaler wahrgenommen wurde. Generell sprechen diese Ergebnisse für eine höhere Textqualität des optimierten KI-Textes und legen somit nahe, dass dem Journalismus weiterhin eine wichtige Rolle zukommt, in dem er KI-Texte durch gängige, journalistische Qualitätsdimensionen optimieren und somit deren Textqualität verbessern kann. Die Ergebnisse zeigen jedoch auch, dass neueste Transformer-Sprachmodelle wie ChatGPT-4 eigenständig komplexe, journalistische Texte erstellen können, die sich von einfacheren, automatisierten Nachrichtentexten wie z.B. Wetterberichten deutlich in deren Qualität abheben.
„Trotz der besseren Bewertung des redaktionell optimierten KI-Textes erzielte der ursprüngliche KI-Text eine durchweg mittlere bis positive Bewertung“, berichtet die Studie.
Verstärkt wird diese Erkenntnis durch die Ergebnisse aus dem Teil, bei dem die Leser:innen befragt wurden, ob sie der Meinung sind, dass der gelesene Text KI-generiert wäre.
„Über 50 % der Leser:innen konnten den KI-Text nicht als solchen identifizieren und 22 % dachten, er stamme von einem menschlichen Autor. Das unterstreicht das Potenzial von KI im Journalismus. Dieses Potenzial in Zusammenhang mit den Erfolgsfaktoren für die Optimierung der Texte scheint die bestmögliche Zusammenarbeit in Zukunft darzustellen.“ (Studie)
Welche Erfolgsfaktoren hier entscheidend sind, lässt sich aus der Befragung erkennen: Bei der Verständlichkeit schnitt der optimierte KI-Text in 13 von 16 Kriterien besser ab. Besonders in den Bereichen einfache Satzstrukturen und Konkretisierung zeigte sich die Optimierung als effektiv. Somit kann diese Dimension als klarer Erfolgsfaktor bei der Optimierung bezeichnet werden. Daneben wurde auch die Objektivität des optimierten KI-Textes positiv bewertet, insbesondere hinsichtlich der Trennung von Fakten und Meinungen. In der Dimension der Vielfalt wurde der optimierte KI-Text als vielfältiger in der Darstellung empfunden. Dies könnte, so die Studie, teilweise auf die erhöhte Objektivität zurückzuführen sein, die eine einseitige Darstellung vermindert. Beim „User Value“ zeigte der optimierte KI-Text ebenfalls eine signifikante Verbesserung, indem er als informativer und orientierender empfunden wurde. Diese Erkenntnis korreliert gleichzeitig mit einer höheren Verständlichkeit. Weniger eindeutig ist die „Emotionalität“ als Erfolgsfaktor. Die Bewertung der Texte ist zwar unterschiedlich, kann jedoch nicht eindeutig als besser oder schlechter eingestuft werden. Dies deutet darauf hin, dass Optimierungen in diesem Bereich vielversprechend sein können, aber je nach Medium variieren.
„Bei Medien, die sich durch ihren emotionalen Stil auszeichnen, kann eine Optimierung sogar kontraproduktiv sein und der ursprüngliche KI-Text besser bewertet werden.“ (Studie)
Hingegen bei Medien, die einen nüchternen Stil verfolgen, kann eine journalistische Optimierung dahingehend sinnvoll sein. Deutlicher als Erfolgsfaktor einzustufen ist die Glaubwürdigkeit, die beim optimierten KI-Text als signifikant höher bewertet wurde, was in der aktuellen Debatte um die Glaubwürdigkeit von KI im Journalismus besonders relevant ist.
„Angesichts aktueller Trends und Forschungsergebnisse ist die Integration von KI in den Journalismus unvermeidlich. Die Herausforderung besteht darin, herauszufinden, wie dieser Einsatz am besten gestaltet werden kann.“ (Studie)
Die Forschungsarbeit zeigt, dass KI, insbesondere fortschrittliche Modelle wie ChatGPT-4, komplexe, journalistische Texte generieren kann, die von Lesern positiv bewertet werden. Dennoch kann eine menschliche Optimierung diese Texte weiter verbessern, insbesondere in den Bereichen Verständlichkeit, Objektivität, User Value und der Glaubwürdigkeit. Dies weist auf eine zukünftige Synergie zwischen Journalist:innen und KI hin, wobei Journalist:innen lernen müssen, effektiv mit KI-Tools zu arbeiten. Diese „Metajournalisten“ könnten dann von KI profitieren, um sich auf andere, tiefgreifendere und zeitintensiveren Aspekte des Journalismus zu konzentrieren.“
Redaktion
Die adhibeo-Redaktion veröffentlicht regelmäßig Artikel zu verschiedensten Themen der Angewandten Wissenschaften, die an der Hochschule Fresenius stattfinden.
