Bis der Elefant mit dem Rüssel wackelt!

Dies ist der Titel eines Beitrags vom 4.5. auf dem Blog des Fachmagazins LaborJournal. Pikanterweise wurden in diesem Magazin vor einem Jahr die Herren Drosten und Landt gefeiert (s. Wirtschaftliche Interessen des Prof. Drosten). Nun findet sich dort eine Abrechnung mit den "ModelliererInnen":

»... Modellierer sind momentan ja sehr gefragt. Wir lesen ihre Arbeiten in Nature und Science, man lauscht ihnen bei Markus Lanz und Konsorten, sie beraten Politiker und rechnen für nationale Akademien.

Ein Wunder ist das nicht, schließlich versprechen ihre Formeln und Modelle nicht weniger als die Aufklärung komplexer Zusam­menhänge. Sie sagen uns, was passieren könnte, wenn wir gewisse Dinge tun oder lassen. Auch erklären sie uns, welche Maßnahmen zur Pandemie­bekämpfung wirksam sind – und welche nicht. Häufig mahnen sie und belegen ihre eigenen Empfehlungen mit konkreten Zahlen.

Genauso wünscht man sich doch Hand­reichungen aus der Wissenschaft. Die Politik bekommt Argumente für ihre Entscheidungen – und Bürger sehen ein, warum die Schule schließen muss oder das Geschäft die Türe wieder öffnen darf.

Modellierer sind auf vielen Feldern schon länger recht erfolgreich. Ein Parade­beispiel hierfür ist der Wetterbericht. Mit im Mittel etwa siebzig Prozent Treff­sicherheit gelingt es den Meteorologen, das Wetter der nächsten sieben Tagen vorherzusagen...

Ein anderes schönes Beispiel für erfolgreiche Modellierungen kommt aus der Geophysik. Ausbrüche von Vulkanen lassen sich überraschend gut vorhersagen...

Aber selbst diese Modellierer liegen oft daneben. Dann ärgern wir uns, vor dem Regen nicht gewarnt worden zu sein. Und so mancher Vulkan will trotz eindringlicher Warnungen einfach nicht ausbrechen.

Wie aber steht es angesichts dessen um die Vorher­sagekraft und somit um die Nützlichkeit der so allgegen­wärtigen Modellierungen in der Pandemie? Leider gibt es mittlerweile eine Menge Hinweise darauf, dass es damit nicht zum Besten steht. Die Modellierer sind offensichtlich so sehr mit dem Generieren neuer Modelle beschäftigt, dass sie kaum dazu kommen, die Güte und das Eintreten ihrer Vorhersagen zu analysieren.

Dies hat man offensichtlich den Journalisten überlassen.«

Wie bei Horoskopen

»So analysiert etwa ein Artikel in der Tageszeitung Die Welt (Literatur­zitate wie immer bei http://dirnagl.com/lj) die wichtigsten Vorhersagen aus dem Umfeld von Deutschlands prominentester Modelliererin, Viola Priesemann (siehe auch LJ 12/2020: 14-17). Dabei zeigt sich zum einen, dass die meisten Schluss­folgerungen aus den Modell­rechnungen sehr vage verfasst waren. Wie bei Horoskopen passten sie damit zu jedem Verlauf. Und dort, wo konkrete Zahlen vorhergesagt wurden, sind diese sehr häufig nicht eingetreten. Es sei denn, es handelte sich um Triviales, wie die Vorhersage eines weiteren Anstieges am Anfang eines bereits deutlich sichtbaren Verlaufes...

Auch für die Modelle des Imperial College in London (ICL) [gilt:] Diese hatten großen Einfluss auf die Pandemie­maßnahmen der englischen Regierung. Auch hier lagen die Vorhersagen häufig extrem daneben. Der australische Mathematiker Vincent Chin und andere konnten außerdem zeigen, dass verschiedene publizierte Modelle des ICL zu ganz unter­schiedlichen Resultaten kommen, wenn man sie auf die gleichen Länder loslässt. Was die Londoner selbst bezeich­nenderweise nicht gemacht hatten.

Ist dies alles überraschend? Deutet es darauf hin, dass die Pandemie-Modellierer ihr Handwerk nicht recht verstehen?

Im Gegensatz zu den Meteoro­logen basieren ihre Model­lierungen auf schlechten oder sogar nicht-vorhandenen Daten, also bloßen Annahmen. Dies gilt sowohl für die Corona-Inzidenzen wie auch viel mehr noch für die Auswirkungen nicht-pharmako­logischer Interventionen. Außerdem hängt alles entscheidend davon ab, ob und wie die Maßnahmen in der Bevölkerung dann tatsächlich umgesetzt werden. Bei einer höchst unsicheren Datenlage, wie sie zum Beispiel allein schon durch die sich ständig ändernden Testkapa­zitäten und -raten, insbesondere am Anfang einer Pandemie, vorkommt, ist es unabdingbar, diese elementare Fehler­behaftung kritisch zu berücksichtigen.

Datenfehler pflanzen sich fort, das lernt man spätestens im Physik-Praktikum. Und sie tun das umso mehr, wenn sie in komplexe, multipara­metrische Modelle und Wachstums­verläufe eingehen. Dazu kommen jede Menge nicht vorher­sehbarer Einfluss­größen – wie etwa das Auftreten von Virusmutanten mit veränderter Infektiosität oder Letalität, die Effektivität von Vakzi­nierungen oder auch unvermeidliche Rück­koppelungs- und Selbst­regulierungs­mechanismen, weil die Vorhersagen sich ja ihrerseits bereits auf das Verhalten der Bevölkerung auswirken.

In Anbetracht all dessen ist die oft propagierte Pseudo­genauigkeit der Modellierungs­ergebnisse schlichtweg vermessen. Es ist, als würde man mit Kanonen – nämlich komplexen, multipara­metrischen Model­lierungen – auf Spatzen – also auf grob fehler­behaftete und nicht-valide Daten­grundlagen – schießen...

Ein weiterer wichtiger Grund für das Versagen der Modelle ist, dass deren Annahmen ja durch die in der Pandemie angeordneten Maßnahmen modifiziert werden. Dies ist sogar ein erwünschter Effekt, schließlich erheben die Modellierer genau deswegen häufig ihren Zeigefinger. Allerdings wäre das gerade so, als wenn sich das Wetter in Abhängigkeit davon ändern würde, ob wir einen Regenschirm aufspannen oder nicht. Dann würde auch der Wetterbericht nicht mehr funktionieren.

Hinzu kommt, dass Modellierungs­studien in der Regel weder Studien­protokolle vorab veröffentlichen noch präregistriert werden – wie dies eigentlich heutzutage für qualitativ hochwertige Studien selbst­verständlich sein sollte. Damit ist einem Herum­probieren, „bis es passt“, Tür und Tor geöffnet...

Vielleicht besteht aber der eigentliche Nutzen der Pandemie-Modellierungen darin, Worst-Case-Szenarien wissen­schaftlicher erscheinen zu lassen – und damit einschneidende Maßnahmen für die breite Masse einleuchtender und akzeptabler zu machen. Diese also wissen­schaftlich zu bebildern. Das ist aber eine gefährliche Strategie: Zum einen, weil Vorhersagen, die daneben­liegen, ihre Überzeu­gungskraft verlieren – zum anderen, weil die Modelle ja behaupten, die Nützlichkeit oder Schädlichkeit bestimmter Maßnahmen und Verhaltens­weisen zu „objektivieren“. Wie zum Beispiel Schul­schließungen, Ausgangs­sperren oder Abstandsregeln. Wenn die offen­sichtlichen und teils schwer­wiegenden Limitationen der Modelle nicht erkannt oder berücksichtigt werden, sie aber dennoch die Grundlage für unser Handeln in der Pandemie liefern – dann läuft etwas schief...

John von Neumann, Mathematiker, Physiker und Computer-Pionier, wird mit dem Bonmot zitiert: „Mit vier Parametern kann ich einen Elefanten fitten, und mit fünf ihn mit dem Rüssel wackeln lassen.“ Wenn mit Rüssel-wackelnden Elefanten und dem Gestus mathematisch-physikalischer Autorität Politik­beratung gemacht wird, ist das nicht ohne Risiko.«

Eine Untermauerung der Thesen gibt es im eigentlichen Magazin mittels eines Gesprächs mit Fachleuten unter der Überschrift "Es fehlt noch gewaltig an Daten".

11 Antworten auf „Bis der Elefant mit dem Rüssel wackelt!“

  1. Guter Artikel: Einfach pein­lich die­se Leute, Glaskugel Wissenschaftler wie Deutschlands pro­mi­nen­tes­ter Modelliererin, Viola Priesemann, oder Michael Meyer-Hermann? Ein Horoskop hät­te mehr Aussage Kraft, oder wür­feln. Hochstapler, die ohne Daten, irgend­ei­nen Blödsinn ver­brei­ten, der frei erfun­den ist und auch noch Lockdown for­dern. Nennt sich Deutsche Wissenschaft, nun wenn man Ratespiel macht, Staatlich finan­ziert ist. Tausende von sol­chen Instituts Deppen, haben Professoren Titel, sind real schlech­te Schauspieler, ohne Verstand

  2. Viola Priesemann und auch Michael Meyer-Hermann?, wur­den vor sehr vie­len Monaten dar­auf hin­ge­wie­sen, mit links und web­site, das Sie gezielt mit gefälsch­ten Websites arbei­ten, die nicht ein­mal ein Impressum haben, auch Whois Abfragen in das tech­ni­sche Nirvana der Daten führt. Es sind damit ganz ein­fach Kriminelle, mit Vorsatz. Michael Meyer-Hermann? sagt in einem NDR Interview, Podcast, das man über die Britische Mutante, für 95 % kei­ne Daten hat, aber trotz­dem Lockdown for­der­te als Merkel Berater. Sollen doch die­se Leute Sandkasten spie­len, denn Würfeln hät­te eine höhe­re Erfolgs Quote. Sowas als Wissenschaft des Helmholtz Institutes zu ver­kau­fen, ist Organisiertes Verbrechen

  3. Ich bin selbst Modellierer (Struktur- und Thermalanalyse aka FEA)
    Meine Erfahrung ist, dass den Ergebnissen aus dem Computer immer mehr blind ver­traut wird. Alles aus den Computer scheint kor­rekt und hoch­ge­nau zu sein. Das ist der fes­ter, uner­schüt­ter­li­cher Glaube in die Digitalanzeige.
    Aber die Leute ver­ges­sen: "Gargbage in, Garbage out"

    Auch vie­le jun­ge Kollegen sind dem Glauben erlie­gen. Selbst bei völ­lig absur­den Ergebnissen kom­men sie nicht auf die Idee, dass sie sich viel­leicht bei den Einheiten ver­tan haben könn­ten (häu­figs­ter Fehler). Das wird dann so stolz prä­sen­tiert und (zumin­dest noch) von erfah­re­nen Kollegen zerrissen.

    Ich könn­te zwar auch pri­ma schum­meln aber, da wir auch alles tes­ten – also Realität mit Theorie ver­glei­chen – kann ich mir das nicht erlau­ben. Das mache ich höchs­ten 2× und dann bin ich raus.
    Trotzdem gibt es in den letz­ten Jahren immer mehr schlaue Projektmanager, die die Tests ein­fach weg­las­sen wol­len. Man kann doch alles ana­ly­sie­ren! Das spart Zeit und Geld.

    1. Das kann ich für mei­nen Bereich (theo­re­ti­sche Festkörperphysik) weit­ge­hend bestä­ti­gen. Es gibt immer mehr die Tendenz, dass sich Modelle ver­selbst­stän­di­gen und ein­zel­nen Modellparametern eine über­mä­ßi­ge Bedeutung zuge­mes­sen wird. Ist die schein­bar so ein­fa­che Modellerklärung dann erst­mal in der Welt, besteht kaum noch Interesse, die Physik dahin­ter auf einer tie­fe­ren Ebene zu ver­ste­hen. Das kos­tet ja auch bloß Zeit und Geld und könn­te am Ende sogar lieb­ge­won­ne­ne Vorstellungen infra­ge stellen…

  4. "Modellierungen", ein Wort, das um sich greift und das ich bis heu­te für mich so nicht akzep­tie­re und auch in einen ande­ren, eher künst­le­ri­schen Zusammenhang stel­le. Aber Meinungsmache avan­ciert der­zei­tig wohl auch zur Kunst, Meinungen von "Vordenkern" jed­we­der Färbung anzunehmen.Das erin­nert mich an das (Loriot?) Wort:"Und wo las­sen Sie den­ken"? Ja, wo? Wo sind Menschen, die sich an der­ar­ti­gen "Modellierungen" ori­en­tie­ren, mit ihrer eige­nen Fähigkeit zu den­ken, gelan­det? Sind sie nicht mehr zur eige­nen Meinungsbildung anhand selbst eru­ier­ter und durch das eige­ne Wertesystem geprüf­ter Fakten in der Lage?
    Eine der furcht­ba­ren Folgen der so eif­rig ange­streb­ten computer-
    gesteu­er­ten Generation?Marionetten?

    1. Ich fin­de Modellierung trifft es sehr genau.
      Es sind nur ver­ein­fach­te Modelle der Wirklichkeit. Oder Abbilder. Das soll­te nur jeder wis­sen. Besonders die Modellierer!

      Normalerweise macht man Sensitivitätsanalysen bei Eingabeparametern, bei denen man sich nicht sicher ist. Daraus bestimmt man dann den Fehlerraum in dem sich das Ergebnis befin­det. Wenn dann raus­kommt, dass die Maßnahme zu 5 bis 95% wirk­sam ist, redet man nicht wei­ter drü­ber und hofft nie­man­dem Ergebnisse ver­spro­chen zu haben.

      Ich habe schon Kollegen erlebt, die konn­ten nur das Analyseprogramm bedie­nen. Hier klickt man zur Vernetzung, hier zur Berechnung und hier wer­den dann bun­te Bilder ange­zeigt. Die sind meist sehr von sich überzeugt.
      Man erkennt sol­che Leute an ihrer Selbstsicherheit und dar­an, dass sie min­des­tens 5 Nachkommastellen angeben.

  5. Stimmt, seit Corona sind die Warnungen vor Asteoriten und Meteoriteneinschlägen die alles Leben auf der Erde aus­lö­schen wür­den, recht sel­ten geworden.

    Und was ist eigent­lich aus dem Heuschreckenscharm gewor­den der über dem Ärmelkanal gesich­tet wur­de? Sind die zurück­ge­flo­gen, wenn ja wohin?

  6. Modelle wer­den lei­der zu oft dort ein­ge­setzt, wo sie nichts zu suchen haben. Je kom­ple­xer das System und je unkla­rer die eigent­li­chen Zusammenhänge und Wirkmechanismen, des­to weni­ger tat­säch­lich nutz­ba­re Rückschlüsse las­sen sich aus den Modellen zie­hen. Das gip­felt in Modellen der Meyer-Hermann‑, Nagel- oder Priesemann-Klasse, die aus­ge­rech­net beim Alltagsleben der mensch­li­chen Gesellschaft mit all sei­nen Facetten ver­meint­lich quan­ti­fi­zier­ba­re Einzeleinflüsse als allein wesent­li­che Faktoren betrachten.
    Wenn man dann neben die­ser Hybris auch noch nach­läs­sig bei den Parametern ist und aus "Studien" (in der Regel ihrer­seits Modellrechnungen) Werte zum Beispiel für die Verbreitungsgeschwindigkeit von Varianten zu zie­hen glaubt, dann hat man den Ahoi-Brause-Effekt: es zischt und spru­delt, sieht für Kinder und Kindgebliebene beein­dru­ckend aus ‑aber nach nicht all­zu lan­ger Zeit ist es scha­les, leicht gefärb­tes Zuckerwasser.

    Wenn man will, kann man mit einem ein­zi­gen aus­lö­sen­den Funken die Vernichtung der gesam­ten Oberflächenvegetation eines Planeten durch einen Feuersturm model­lie­ren – aber kein ver­ant­wor­tungs­be­wuss­ter Modellierer (und das dürf­te die deut­li­che Mehrheit sein) wür­de das tun oder zumin­dest wür­de man dar­aus kei­ne Handlungsempfehlungen ableiten…

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.