KI fabriziert täuschend echte Forschungsdaten

Unter die­sem Titel ist am 23.11.23 auf spek​trum​.de zu lesen:

»Mit der Technik hin­ter dem KI-Chatbot ChatGPT hat ein Forschungsteam gezielt wis­sen­schaft­li­che Daten über kli­ni­sche Versuche her­bei­fa­bu­liert. Die Forschenden woll­ten wis­sen, ob sich mit Hilfe künst­li­cher Intelligenz Forschungsdaten über­zeu­gend fäl­schen lassen.«

KI steht hier nicht für Karl und Isabella, obwohl das Fabulieren zum Kerngeschaft von Lauterbach und Eckerle gehört.

"Für eine Veröffentlichung, die am 9. November im Fachmagazin »JAMA Ophthalmology« erschie­nen ist, haben die Autoren die Daten für ihre Ergebnisse auf unge­wöhn­li­che Weise »erho­ben«: Das Team von Forschenden hat sie mit­tels künst­li­cher Intelligenz (KI) generiert. 

Dazu kom­bi­nier­ten sie GPT‑4, die neue­ste Version des gro­ßen Sprachmodells, auf dem ChatGPT basiert, mit dem Modell Advanced Data Analysis (ADA). Dieses beherrscht die Programmiersprache Python, kann sta­ti­sti­sche Analysen durch­füh­ren und Daten gra­fisch auf­be­rei­ten. Die KI-gene­rier­ten Daten stell­ten die Ergebnisse zwei­er ver­schie­de­ner Operationsmethoden ein­an­der gegen­über und leg­ten nahe – fälsch­li­cher­wei­se –, eine der bei­den Vorgehensweisen sei der ande­ren überlegen.

»Wir woll­ten her­aus­stel­len, dass man bin­nen weni­gen Minuten einen Datensatz erzeu­gen kann, der durch die tat­säch­lich erho­be­nen Originaldaten nicht gedeckt ist und der dar­über hin­aus den ver­füg­ba­ren Beweisen wider­spricht oder zumin­dest in eine ande­re Richtung weist«, sagt Giuseppe Giannaccare, einer der Autoren der Studie und Augenchirurg an der Universität Cagliari in Italien…

[Damit] könn­te jede belie­bi­ge Forschungsgruppe aus­ge­spro­chen leicht Daten zu Patienten erfin­den, die nie exi­stiert haben, nie gege­be­ne Antworten zu Befragungen her­bei­fan­ta­sie­ren oder gro­ße Datensätze über Tierversuche erzeugen…

Die KI lie­fer­te erfun­de­ne Daten über 160 Teilnehmer und 140 Teilnehmerinnen. Diese deu­te­ten dar­auf hin, dass die Personen, die DALK [eine Art der Augenoperation, AA] erhiel­ten, nach der Operation bes­ser sehen konn­ten und beim Bildgebungstest bes­ser abschnit­ten als die­je­ni­gen, die mit­tels PK behan­delt wur­den. Das wider­spricht den Ergebnissen aus ech­ten kli­ni­schen Studien…"

Noch las­sen sich sol­che Fakes auf­spü­ren, weil die "Künstliche Intelligenz" noch nicht so aus­ge­reift ist wie etwa bei den Erfindern und der Anwendung von PCR-Tests:

"[Es] kamen ver­schie­de­ne Ungereimtheiten ans Tageslicht. Erstens pass­te bei vie­len vor­geb­li­chen Teilnehmenden das ange­ge­be­ne Geschlecht nicht zu dem­je­ni­gen, das man laut dem Vornamen erwar­ten wür­de. Zweitens zeig­te sich kei­ne Korrelation zwi­schen den Ergebnissen der Sehkraft und des Bildgebungstests vor und nach der Operation. Drittens unter­such­ten Wilkinson und Lu, wie die Zahlen in man­chen der Spalten im Datensatz ver­teilt waren, um mög­li­che Muster zu fin­den, die nicht rein zufäl­lig auf­tre­ten. Die Werte für die bild­ge­ben­de Augenuntersuchung bestand die­sen Test, aber man­che Werte für das Alter der Probanden häuf­ten sich auf eine Weise, die für ech­te Daten extrem unge­wöhn­lich wäre: Das Alter unver­hält­nis­mä­ßig vie­ler Teilnehmender ende­te mit den Ziffern 7 oder 8…

»In glei­cher Weise, wie künst­li­che Intelligenz Teil des Problems sein kann, könn­ten sich auch KI-basier­te Lösungen fin­den. Wir könn­ten man­che sol­cher Überprüfungen auto­ma­ti­sie­ren«, sagt Wilkinson – und warnt gleich­zei­tig davor, dass die Fortschritte der gene­ra­ti­ven KI bald Wege eröff­nen könn­ten, eben­sol­che Prüfprotokolle zu umge­hen. Pulverer ist der glei­chen Ansicht: »Sobald bekannt ist, wonach bei die­sen Prüfungen geschaut wird, lässt sich KI leicht ein­set­zen, um die­se Prüfungen zu umgehen.«"

Gut… Ich neh­me die obi­ge Aussage zurück. Man hät­te auch bei den PCR-Tests auf Ungereimtheiten sto­ßen müs­sen, wenn man denn gesucht hät­te. Umgekehrt hät­te auch eine Alpha-Version einer belie­bi­gen KI bei den Arbeiten von Christian Drosten fest­stel­len kön­nen, wie wider­sprüch­lich und unbe­leg­bar sei­ne Aussagen waren. Doch wie sagt das Sprichtwort? "Der Glaube macht den Meister" und "Voller Bauch stinkt vom Kopf her".