Absurde KI-generierte Bilder: Schweizer Verlag Frontiers in der Kritik

KI-generierte Inhalte finden sich immer mehr auch in wissenschaftlichen Publikationen. Manche machen ein Geschäft damit. Alamy Stock Photo/Credit: Tero Vesalainen / Alamy Stock Photo

Der Schweizer Open-Access-Verlag Frontiers wird für die Veröffentlichung eines wissenschaftlichen Artikels kritisiert, der absurde KI-generierte medizinische Abbildungen und inexistente Wörter enthielt. Der Fall wirft ein Licht auf ein Geschäftsmodell, das die Veröffentlichung von Forschungsergebnissen in hohem Tempo und um jeden Preis fördert.

Ein wissenschaftlicher ArtikelExterner Link, der vom Schweizer Verlag Frontiers in seiner frei zugänglichen Zeitschrift Frontiers in Cell and Developmental Biology veröffentlicht wurde, sorgte bei Forschenden auf der ganzen Welt für Alarmglocken.

Eine Abbildung, die eine Ratte mit riesigen, anatomisch falschen Genitalien und unverständlichen Bezeichnungen zeigt, erregte in den sozialen Medien die Aufmerksamkeit der wissenschaftlichen Gemeinschaft.

Wissenschaftler:innen haben die Bilder öffentlich gemacht und das Peer-Review-Verfahren von Frontiers in Frage gestellt.

Die Abbildung zeigt imaginäre sezierte Genitalien einer Ratte. Es zeigt auch unentzifferbare Bezeichnungen wie «iollotte sserotgomar cell», «testtomcels» und «dck». Die Publikation schreibt die Rechte an dem Bild dem KI-Programm Midjourney zu. Frontiers

Frontiers zog die Veröffentlichung zurück und dankte der wissenschaftlichen Gemeinschaft auf der Plattform X/Twitter dafür, dass sie die Fehler aufgedeckt hatte – und betonte die Bedeutung der offenen Wissenschaft bei der kollektiven Überprüfung fehlerhafter Forschung.

Frontiers, mit Sitz in Lausanne, veröffentlicht seit 2007 frei zugängliche wissenschaftliche Zeitschriften nach dem Geschäftsmodell «pay to publish».

We thank the readers for their scrutiny of our articles: when we get it wrong, the crowdsourcing dynamic of open science means that community feedback helps us to quickly correct the record.

— Frontiers (@FrontiersIn) February 15, 2024Externer Link

Autor:innen zahlen eine Gebühr von 88 CHF bis zu mehr als 7’900 CHF – so genannte «article processing charges» (APCs) –, damit ihr Artikel in Open-Access-Publikationen veröffentlicht wird und frei zugänglich ist.

Dieses Modell konkurriert mit traditionellen Zeitschriften, die auf Paywalls und Abonnements beruhen. Grosse, renommierte Wissenschaftsverlage – wie Elsevier und Springer Nature – kontrollieren so schon lange den Zugang zu wissenschaftlichen Erkenntnissen, die oft mit Steuergeldern finanziert werden.

Die beiden grössten Open-Access-Verlage der Welt, Frontiers und MDPI – beide in der Schweiz ansässig – setzen sich für die so genannte offene Wissenschaft ein und werben mit einer schnellen Überprüfung und Veröffentlichung von Artikeln. Dies hat in der wissenschaftlichen Gemeinschaft die Befürchtung geweckt, dass die Qualität der Quantität geopfert werden könnte, um die Einnahmen zu steigern.

Ein anderes Bild, das erfundene Wörter und Zahlen zeigt. Der Bildunterschrift zufolge sollte es ein «Diagramm des JAK-STAT-Signalwegs» sein. Frontiers

Stefanie Haustein, Professorin an der Universität Ottawa, die sich auf Open-Access-APC-Finanzierungsmodelle spezialisiert hat, äusserte öffentlich ihre Bedenken. «Ich mache mir Sorgen, dass dies nur die Spitze des Eisbergs ist, wie viele falsche Informationen veröffentlicht wurden, nur um schnell etwas zu produzieren», sagt Haustein.

Die Forschenden befürchten weitere Risiken für die wissenschaftliche Integrität, da die Verlage KI-Technologien in ihren Überprüfungsprozessen einsetzen und Autor:innen sie zur Erstellung von Bildern und Texten verwenden.

Haustein ist der Meinung, dass KI nicht die Hauptursache für die Veröffentlichung von Forschungsergebnissen minderer Qualität ist, sondern Symptom eines Systems, das Forschende und Gutachter:innen unter Druck setzt, viel und schnell zu veröffentlichen.

Forschende warnen, dass Frontiers «Pseudowissenschaft» zulässt

Auf Anfrage von SWI swissinfo.ch antwortete Frontiers per E-Mail auf die Kritik, die auf die Veröffentlichung des Artikels folgte. Eine Sprecherin schrieb, es handle sich um einen «bedauerlichen und isolierten Vorfall».

Allerdings ist es nicht das erste Mal, dass Frontiers wegen fragwürdigen Publikationen in die Kritik gerät. Im April 2023 wurde ein ArtikelExterner Link veröffentlicht, in dem unbewiesene Behauptungen aufgestellt wurden, wonach Gesichtsmasken Covid-19-Symptome hervorrufen könnten. Nach massiver Kritik von Wissenschaftlerinnen und Gesundheitsexperten wurde der Artikel einen Monat später zurückgezogen.

Das gleiche Schicksal ereilte einen ArtikelExterner Link, in dem der Zusammenhang zwischen HIV und AIDS in Frage gestellt wurde. Diesmal versuchte der Verlag, den Artikel als «Meinung» einzustufen, bevor er ihn mehr als vier Jahre nach der Veröffentlichung zurückzog.

Dieser und ähnliche Fälle haben Wissenschaftler:innen dazu veranlasst, zum BoykottExterner Link von Frontiers aufzurufen, weil die fragwürdigen Überprüfungsverfahren des Verlags «Pseudowissenschaft» zulassen würden.

Never submit to or review for a Frontiers journal! This thread exposes the dirt on their review process. They also killed Beall’s list, a quality control tool for publishing. And Frontiers allows pseudoscience, such as a “Neural Thermodynamics” issue I was recently asked for. https://t.co/ncLp5HqX6hExterner Link

— Wei Ji Ma (@weijima01) August 7, 2021Externer Link

Publizieren um jeden Preis

Frontiers beharrt dennoch darauf, dass es «eine der besten Qualitätsbilanzen in der Verlagsbranche» vorweisen kann, wie der Verlag per E-Mail schreibt. Das Unternehmen weist daraufhin, dass es unter den grossen Wissenschaftsverlagen an dritter Stelle steht, mit Artikeln, die milliardenfachExterner Link angesehen und heruntergeladen wurden.

Laut Haustein zeigen die Skandale um Frontiers jedoch, dass das primäre Ziel von Open-Access-Verlagen – die Verbreitung von Wissen zur Förderung der Wissenschaft – durch das zugrunde liegende Geschäftsmodell korrumpiert wurde. «Das Hauptziel besteht nicht darin, präzise Wissenschaft zu veröffentlichen, sondern profitabel zu sein und zu wachsen», sagt sie.

Als Beweis dafür führt sie an, dass Frontiers von den Autor:innen durchschnittlich 1992 CHF für die veröffentlichten Artikel verlangt, so dass das Unternehmen wenig Anreize hat abzulehnen. Die Ablehnungsquote bei Frontiers ist weitaus geringerExterner Link als bei traditionellen Verlagen: 56% gegenüber 71% bei Elsevier zum Beispiel.

Auch die Bearbeitungszeit ist extrem kurz: Laut WebsiteExterner Link von Frontiers erhalten Autoren in nur 61 Tagen eine endgültige Entscheidung über die Veröffentlichung eines eingereichten Artikels, während die durchschnittliche Bearbeitungszeit bei anderen Zeitschriften drei bis sechs Monate beträgt.

Eine AnalyseExterner Link zeigt auch, dass Open-Access-Verlage zunehmend «Sonderausgaben» verwenden, um die Mehrzahl ihrer Artikel zu veröffentlichen. «Früher waren Sonderausgaben etwas sehr seltenes und prestigeträchtiges, jetzt werden sie von Frontiers und MDPI als Wachstumsmodell genutzt», sagt Haustein.

In der Schweiz hat die Verbreitung dieser Praxis den Schweizerischen Nationalfonds (SNF) dazu veranlasst, die in Sonderheften veröffentlichte Forschung von seinen Förderprogrammen auszuschliessenExterner Link.

«Das Prinzip des ‹Publizierens um jeden Preis› widerspricht der Politik des SNF», schreibt ein Sprecher gegenüber SWI swissinfo.ch.

Forschende und Gutachter unter Druck

Da mehr Forschende publizieren können und mehr frei zugängliche Forschungsergebnisse als früher zur Verfügung stehen, ist die Zahl der veröffentlichten wissenschaftlichen Artikel in den letzten zehn Jahren exponentiell gestiegen.

Aber die wissenschaftliche Gemeinschaft selbst wächst nicht. Von den Wissenschaftler:innen wird daher erwartet, dass sie in einem noch nie dagewesenen Tempo Artikel schreiben, begutachten und redigieren – oft kostenlos.

Und während Forschende die erhöhte Arbeitsbelastung zu bewältigen versuchen, um ihre Karriere voranzutreiben, steigen die GewinnspannenExterner Link der Wissenschaftsverlage.

Frontiers ist so gross geworden, dass es die Kontrolle über den Redaktionsprozess im Wesentlichen aufgegeben hat, sagt Adrian Liston, ehemaliger Frontiers-Redaktor und australischer Immunologe an der Universität Cambridge. Liston verliess das Unternehmen, als er feststellte, dass es praktisch unmöglich war, einen Artikel abzulehnen.

Und dass Redaktor:innen den Überprüfungsprozess beschleunigten und sich über die Gutachter:innen hinwegsetzten, um die Artikel so schnell wie möglich zu veröffentlichen und die Publikationskosten einzufahren.

Seiner Meinung nach konnte so ein Artikel mit fehlerhaften KI-generierten Bildern zur Veröffentlichung zugelassen werden, obwohl die Autor:innen deutlich darauf hinwiesen, dass sie KI verwendet hatten.

I quit as a Frontiers editor and refuse to review papers for them because of how difficult the journal makes rejecting a paper. You essentially can’t, you can only get stuck in endless reviewing loops. Still shame on everyone involved, but this is what the Frontiers system allows https://t.co/CxEzfYFd6GExterner Link

— Adrian Liston (@LabListon) February 15, 2024Externer Link

Generative KI im Verlagswesen ist schwer zu bekämpfen

Der Missbrauch von KI ist nicht nur ein Problem für Open-Access-Publikationen. Mit generativer KI auf dem Markt, die Texte und Bilder in Windeseile produzieren kann, befürchten manche, dass Betrügereien für Verlage und Forschende wesentlich einfacher werden. Die Technologie entwickelt sich weiter und die am Begutachtungsprozess beteiligten Menschen haben oft Mühe mitzuhalten.

KI-produzierte falsche Daten und Bilder sehen so echt aus, dass es selbst für Expert:innen schwierig ist, sie zu erkennen. «Selbst mithilfe meiner Expertise und einer Software zur Erkennung von Duplikaten kann ich nicht mehr erkennen, ob diese Bilder oder Datensätze echt sind oder nicht», sagt Elisabeth Bik, Mikrobiologin und Beraterin für wissenschaftliche Integrität.

Die Situation ist so ernst, dass im vergangenen Jahr eine Rekordzahl von 10’000 Forschungsarbeiten zurückgezogenExterner Link wurde.

Akademische Verlage wehren sich, indem sie die Verwendung von KI in wissenschaftlichen Artikeln verbietenExterner Link oder einschränkenExterner Link. Frontiers hält es für akzeptabelExterner Link, generative KI für das Verfassen von Manuskripten zu verwenden, aber die Autor:innen müssen die Genauigkeit überprüfen und die Verwendung von KI deklarieren.

Der Schweizer Open-Access-Verlag gehört zu denjenigen, die KI in ihren redaktionellen Prozessen einsetzen, «um die menschlichen Fähigkeiten zur Aufdeckung von Betrug und Fehlverhalten von Forschern zu unterstützen, zu verbessern und zu steigern», schreibt das Unternehmen per E-Mail.

Dies ist eine Möglichkeit, wie KI den Verlagen helfen könnte, den Missbrauch der Technologie in wissenschaftlichen Arbeiten einzudämmen.

Es ist jedoch keine Garantie dafür, dass schlechte Wissenschaft erkannt wird, wie der Fall der gefälschten, von Frontiers akzeptierten KI-generierten Bilder zeigt.

Fast 25’000 Forschende haben die Erklärung von San Francisco zur Forschungsbewertung oder das DORA-AbkommenExterner Link unterzeichnet, um eine Lösung für dieses Problem zu fordern: Forschende sollen nicht dazu gedrängt werden, so viele Artikel wie möglich zu veröffentlichen, sondern sich um die Veröffentlichung bei Top-Verlagen bemühen.

Der Standpunkt von Frontiers zu Verfahren und Standards

Ein Sprecher von Frontiers gab folgende Auskünfte:

«Es ist nicht ‹praktisch unmöglich›, einen bei Frontiers eingereichten Artikel abzulehnen – unsere Anforderungen für die Annahme sind streng und die Redakteure können nur Artikel annehmen, die von zwei unabhängigen Gutachtern bestätigt wurden.

Frontiers ist akkreditiert von und Mitglied in den wichtigsten Organisationen, die sich mit der Regulierung von Veröffentlichungen und ethischen Fragen befassen, und hält sich an deren Qualitätsstandards und beste ethische Praktiken.

Die Autoren, die die KI-generierten Abbildungen von Ratten in ihrem Artikel erstellt haben, haben eindeutig gegen die Richtlinien von Frontiers verstossen. Die Peer-Reviewer forderten eine Überarbeitung der Bilder, und die Tatsache, dass die Autoren dem nicht nachkamen, wurde bei der abschliessenden Qualitätskontrolle übersehen. Dies war ein echter und sehr bedauerlicher menschlicher Fehler, für den wir uns entschuldigt haben.

Qualitativ minderwertige Veröffentlichungen sind keine Folge des offenen Zugangs. Wie alle anderen Verlage stossen auch wir auf minderwertige und betrügerische Forschungsarbeiten und ziehen diese nach den in der Verlagsbranche seit langem etablierten Verfahren zurück.

Die Gebühren, die Frontiers für die Veröffentlichung eines Artikels erhebt, reichen von 0 $ bis 3.295 $, wobei die durchschnittliche Zahlung pro Artikel 2.270 $ beträgt.»

Dieser Artikel wurde am 13. Mai 2024 geändert, um den Standpunkt von Frontiers zu seinen Veröffentlichungspraktiken besser wiederzugeben. Darüber hinaus wurden die folgenden Korrekturen vorgenommen:

Die Quote der abgelehnten Artikel bei Frontiers liegt bei 56%, nicht bei 48%, wie in einer früheren Version des Artikels angegeben.

Ein Frontiers-Sprecher sagte, dass die Zeitschrift «eine der stärksten Erfolgsbilanzen» in der Verlagsbranche hat, nicht «die stärkste Erfolgsbilanz», wie in einer früheren Version des Artikels angegeben.

Editiert von Veronica De Vore, Übertragung aus dem Englischen: Giannis Mavris