Der Wissenschaft folgen?

Angesichts der Verwirrung und Hysterie im Zusammenhang mit der COVID-19-Pandemie ist es selten möglich, ein Buch so aktuell zu veröffentlichen wie Stuart Ritchies Science Fictions: Wie Betrug, Neigung, Nachlässigkeit und Hype die Suche nach der Wahrheit untergraben Fehlverhalten in den zeitgenössischen Natur- und Sozialwissenschaften. Ritchie, Dozent für Psychologie am King’s College London, hat ein vorausschauendes und spannendes Buch über die Replikationskrise, den unvollkommenen Peer-Review-Prozess und wissenschaftliche Missetaten geschrieben. Es schafft es, Konversationsprosa mit einer in vielerlei Hinsicht für die gebildete Öffentlichkeit destillierten wissenschaftlichen Literaturübersicht in Einklang zu bringen. Während Science Fictions sicherlich zu einem besseren Verständnis einiger der besorgniserregenden Probleme der zeitgenössischen Wissenschaft beiträgt, ist es nicht ohne Auslassungen und Fehler.

Um zu Beginn klar zu sein, glaubt Ritchie nachdrücklich, dass die Wissenschaft objektive Wahrheit enthält, die durch „Kontrolle, Befragung, Überarbeitung, Verfeinerung und Konsens“ erkannt wird. Wenn Ritchie anhand einer Vielzahl von Fallstudien wissenschaftliche Missstände veranschaulicht, ist klar, dass für jeden dieser Fälle mindestens einer der fünf Aspekte des wissenschaftlichen Modus Operandi verletzt wurde. Dies bedeutet nicht, dass die Wissenschaft in vielerlei Hinsicht nicht erstaunlich erfolgreich war – Elektrizität, Raumfahrzeuge und Impfstoffe, um nur einige zu nennen. In der Tat sind die Erfolge der Wissenschaft zum Teil der Grund dafür, dass sie so anfällig für das ist, was Richie als seine vier Hauptprobleme identifiziert: Betrug, Voreingenommenheit, Nachlässigkeit und Hype.

Verzerrung der wissenschaftlichen Methode

Die wissenschaftliche Untersuchung hängt von der Fähigkeit ab, Hypothesen durch Replikation kontinuierlich erneut zu testen. Eine schockierende Anzahl wissenschaftlicher Arbeiten besteht diesen Test jedoch nicht. Wie schlimm ist das Problem? Ritchie gibt einige beunruhigende Zahlen in einer Vielzahl von Feldern. Zum Beispiel wurde 2018 versucht, 21 sozialwissenschaftliche Artikel zu replizieren, die in den beiden renommiertesten Wissenschaftszeitschriften Nature and Science veröffentlicht wurden: Die Replikationsrate betrug 62 Prozent. Leider sind die Sozialwissenschaften nicht allein. Eine Studie aus dem Jahr 2016 ergab, dass von 268 zufällig ausgewählten biomedizinischen Artikeln, einschließlich klinischer Studien, nur einer das vollständige Protokoll berichtete. Dies bedeutet, dass ein Wissenschaftler nicht einmal versuchen konnte, 267 dieser Studien zu replizieren. Replikationskrise in der Tat.

Ritchie nimmt uns mit auf eine Tour durch Betrug, Voreingenommenheit, Nachlässigkeit und Hype. Während er über Betrug spricht, verweist er den Leser auf die Website Retraction Watch. (Während ich dies schreibe, erscheint auf dem Banner: „Die Liste der zurückgezogenen COVID-19-Papiere ist bis zu 33.“) Seit den 1970er Jahren wurden in der wissenschaftlichen Literatur über 18.000 Retraktionen durchgeführt, und einige dieser Papiere sind es trotz ihrer Rückzug, immer noch positiv aus Unwissenheit zitiert. Ritchie greift auf eine Reihe von Fallstudien zurück, die die unzähligen wissenschaftlichen Sünden veranschaulichen, die solche Papiere begangen haben. In der angesehenen Fachzeitschrift The Lancet erfahren wir mehr über den entkräfteten Arzt Andrew Wakefield, der eine Verbindung zwischen Impfstoffen und Autismus herstellte. Es gibt den Tabellenkalkulationsfehler, der es in das von Experten begutachtete Papier von Carmen Reinhart und Kenneth Rogoff in American Economic Review geschafft hat. In der Originalarbeit heißt es, dass jedes Land mit einer Schuldenquote von über 90 Prozent nach der Finanzkrise von 2008 Sparmaßnahmen durchlaufen sollte. Wie sich herausstellte, war der 90-Prozent-Schwellenwert nach Behebung des Fehlers in der Tabelle nicht mehr vorhanden. Eine Peer-Review-Krise, zusätzlich zur Replikationskrise!

Der Fall des ehemaligen Cornell-Professors Brian Wansink ist ein Beispiel für alle vier Krankheiten von Ritchie, die die Wissenschaften betreffen. Als Professor an der Cornell University begannen Wansinks Probleme mit einem selbstverherrlichenden Blog-Post im Herbst 2016, in dem er ungewollt zugab, einen seiner Post-Docs gebeten zu haben, sich über die sogenannten „Pizzadaten“ zu „hacken“ ( es war aus einem italienischen Restaurant). Aber bevor wir diskutieren, was P-Hacking ist, werden wir einige der Folgen dieses Beitrags diskutieren, was wirklich ein Beispiel für den Stolz ist, der vor dem Fall kommt.

Skeptiker begannen nach dem Blog-Beitrag, sich Wansinks von Experten begutachtete Werke anzusehen, und stellten fest, dass sie voller Fehler waren. Beispielsweise gab es bei den vier Papieren, die unter Verwendung der Pizzadaten veröffentlicht wurden, nicht weniger als 150 Fehler. Ähnliche Fehler wurden in anderen Veröffentlichungen gefunden. Es ist wahrscheinlich, dass diese Fehler das Ergebnis einer Kombination aus Nachlässigkeit (ohne auf Details zu achten) und Betrug (absichtlich die Daten massieren, um ein bestimmtes Aussehen zu erhalten) waren. Wansink war auch ein Beispiel für Medienrummel, mit ein paar Best- Verkauf von Büchern über Lebensmittelpsychologie. Er lenkte auch die Aufmerksamkeit der Medien auf die Beeinflussung der staatlichen Ernährungspolitik. Michelle Obamas vielverleumdetes Schulspeisungsprogramm wurde von Wansinks Arbeit beeinflusst. Die Republikaner waren auch nicht immun, da er unter George W. Bush in der FDA diente. (Vielleicht gibt dies Hinweise darauf, warum Regierungen keine Ernährungspolitik betreiben sollten.)

Wansinks Nachlässigkeit, Betrug und Hype reichten aus, um 18 seiner Papiere zurückzuziehen und von Cornell zurückzutreten. Aber sein P-Hacking war das schlimmste Vergehen. Um darüber zu diskutieren, müssen wir uns zunächst mit dem weithin missverstandenen p-Wert (wobei p für Wahrscheinlichkeit steht) und seiner Beziehung zur Verzerrung in der wissenschaftlichen Forschung auseinandersetzen. Ritchie macht einen bewundernswerten Job und erklärt den p-Wert sowie die damit verbundenen Begriffe wie Effektgröße und Stichprobengröße im technischsten Teil des Buches. Ich wünschte, er hätte ausführlicher dargelegt, wo der p-Wert in einem breiteren statistischen Kontext lebt. (Obwohl als angewandter Statistiker, zeigt sich hier vielleicht meine Voreingenommenheit.)

Der Wissenschaftler muss der Versuchung der uneingeschränkten Vision widerstehen, wo er glaubt, dass er das Eigeninteresse (ob es sich in Betrug, Voreingenommenheit, Nachlässigkeit oder Hype manifestiert) durch Vernunft überwinden kann.

Für diese Überprüfung können wir informell sagen, dass der p-Wert eine Wahrscheinlichkeit ist, die die Überraschung misst: Sind die beobachteten Daten angesichts einer Annahme über die Art der Bevölkerung überraschend? Aufgrund einer Tradition, die über ein Jahrhundert zurückreicht, wird ein p-Wert <0,05 typischerweise als überraschend oder „statistisch signifikant“ angesehen. Im Allgemeinen werden nur Artikel, die diese willkürliche Schwelle erreicht haben - die keine tatsächliche statistische Begründung haben -, in von Experten begutachteten Fachzeitschriften veröffentlicht. Wenn die statistische Signifikanz für alle Wissenschaften auf einen p-Wert <0,05 eingestellt ist, wird die Vielfalt der Wissenschaften und das, was in jedem Bereich als ausreichender Beweis gilt, ignoriert.

Es gibt drei Arten von Publikationsverzerrungen, die sich aus der Fixierung auf einen p-Wert <0,05 ergeben. Das erste ist, dass Wissenschaftler nicht geneigt sind, Arbeiten mit einem p-Wert von 0,05 oder mehr zu veröffentlichen. Wir können dies die "Selbstzensur-Verzerrung" nennen. Dies ist schädlich, da ein negatives Ergebnis immer noch ein Ergebnis ist, das das kollektive Wissen über ein Studienfach erweitern kann. Um eine von Wansinks diskreditierten Ernährungsstudien zu verwenden: Zu wissen, dass das Anbringen eines Elmo-Aufklebers auf einem Apfel nicht dazu führt, dass Kinder ihn eher pflücken als einen Keks, ist ein ebenso gültiges Wissen wie das Gegenteil, das in der Zeitung behauptet wird. (Ich frage mich, ob einer der Peer-Reviewer eigene Kinder hatte, da ein Elternteil der Behauptung, ein Apfel würde jemals einen Keks übertreffen, sehr skeptisch gegenüberstehen würde.)

Zweitens besteht die Motivation, die Daten zu manipulieren, um einen p-Wert zu erhalten, der überraschend genug ist. Zum Beispiel hatten in einer meta-wissenschaftlichen Studie aus dem Jahr 2010, in der über 2.500 Artikel aus einer Vielzahl wissenschaftlicher Disziplinen untersucht wurden, 70,2 Prozent der weltraumwissenschaftlichen Artikel (die niedrigste Rate) einen p-Wert <0,05 und 91,5 Prozent der Psychologie / Psychiatrie Papiere (die höchste Rate). Wir können die zweite Art der Publikationsverzerrung als "Publish or Perish Bias" bezeichnen.

Hier kommt P-Hacking ins Spiel und das wissenschaftliche Verbrechen, das Wansink begangen hat: Ein Forscher p-hackt, wenn er nicht mit einer Hypothese über die Bevölkerung beginnt, sondern die Daten abbaut, bis ein p-Wert von weniger als fünf Prozent erreicht wird. Dies kehrt den wissenschaftlichen Prozess um: Anstatt eine Theorie zu testen, findet er ein Ergebnis, das einer Theorie bedarf. Dies hängt mit der Tyrannei der Metriken zusammen, wie Jerry Muller sie nennt, bei der eine Metrik wie ein p-Wert eher zum Telos als zur wissenschaftlichen Theorie wird. Auch wenn es ein statistisch signifikantes Ergebnis gibt, bedeutet dies nicht, dass es notwendigerweise ein wichtiges ist. Zum Beispiel gibt es in England einen statistisch signifikanten Altersunterschied zwischen heterosexuellen Paaren, aber der Altersunterschied für jedes Paar beträgt im Durchschnitt etwa zwei Jahre. Ungeachtet der statistischen Signifikanz gibt es keinen praktischen Unterschied im Alter eines 35-jährigen Mannes und einer 33-jährigen Frau.

Es gibt eine dritte Art von Publikationsbias: “The Black Box Bias”. Die meisten statistischen Software- und Programmiersprachen, die Wissenschaftler verwenden, sind Black-Box-Methoden. Dies bedeutet, dass die Wissenschaftler Daten eingeben und die Software die Statistiken auf magische Weise wie p-Werte erzeugt. Was zwischen der Eingabe und der Ausgabe passiert, wird oft ignoriert und / oder missverstanden – daher Black-Box-Methoden. Ritchie hätte die Gefahr hervorheben sollen, sich mit der Statistiksoftware „Black Box“ auf den p-Wert zu verlassen. Er hat es beiläufig erwähnt, aber es ist wirklich eine Art Publikationsbias für sich. Von einem Wissenschaftler kann nicht erwartet werden, dass er die Nuancen aller von ihm verwendeten statistischen Modelle versteht, aber er sollte mit ihnen vertraut sein. Er kann einen p-Wert im Kontext nicht richtig interpretieren, wenn er den Prozess, der ihn hervorgebracht hat, nicht versteht. Dies ist vergleichbar damit, die Zutaten für einen Kuchen zu haben und dann den gebackenen Kuchen auf magische Weise zu erhalten, nachdem er in eine spezielle Maschine gegeben wurde. Während der sogenannte Bäcker uns sagen kann, ob der Kuchen gut schmeckt oder nicht, kann er uns nicht sagen, warum dies der Fall ist.

Seien Sie skeptisch gegenüber den Experten

Ritchie schließt das Buch mit pragmatischen Vorschlägen zur Behebung dieser Probleme wie Betrug, Voreingenommenheit, Nachlässigkeit und Hype in den Wissenschaften. Beispielsweise gibt es Algorithmen, mit denen Papiere auf numerische Fehler überprüft werden können und die bereits nachträglich für veröffentlichte Papiere eingesetzt wurden. Ritchie ist der Ansicht, dass sie während des Peer-Review-Prozesses verwendet werden sollten. Ein weiterer Vorschlag, für den sich die American Statistical Association einsetzt, ist die Abkehr von einem festen p-Wert.

Ich empfehle zwar nachdrücklich, dass jeder, der sich für die in dem Buch vorgestellten Themen interessiert, es lesen sollte, fühle mich jedoch verpflichtet, einige Themen zusätzlich zu der oben erwähnten Überzeugung, dass Statistiken mehr diskutiert werden müssen, nicht auszuwählen. Obwohl es wunderbar umfangreiche Endnoten gibt, gibt es keine separate Bibliographie, und daher ist es schwierig, die umfangreichen Referenzen im Auge zu behalten. Obwohl es auf den ersten Blick unfair erscheint, ein Buch zu kritisieren, das keinen bestimmten Bezug hat, werde ich eine Ausnahme machen, da es unentschuldbar ist, dass Ritchie John Staddons wissenschaftliche Methode nicht einbezieht, da es sich um eine kürzlich veröffentlichte Monographie handelt, die einen Großteil des gleichen Grundes abdeckt als Science Fictions.

Während Ritchie die Wissenschaftsphilosophie und ethische Fragen mit wissenschaftlichem Fehlverhalten anspricht, hätte er diesbezüglich einheitlichere Anstrengungen unternehmen sollen. Ein Vorschlag, den er nicht für die „Festlegung der Wissenschaft“ macht, ist, dass Wissenschaftler im Rahmen des Lehrplans für Graduiertenschulen etwas über die Philosophie und Ethik der Wissenschaft lernen müssen. Ritchie äußert zu Recht Skepsis gegenüber vielen wissenschaftlichen Ergebnissen, verteidigt jedoch unnachgiebig den Begriff des Klimawandels und erklärt scheinheilig die Aktionen der Klimaforscher in East Anglia, die das Peer-Review-System aktiv manipuliert haben, um ihre Artikel zu veröffentlichen.

In einer Zeit, in der Wissenschaftler zu den vertrauenswürdigsten Fachleuten in den USA gehören, erinnert uns dieses Buch daran, den Experten skeptisch gegenüberzustehen. Wie wir wiederholt bei COVID-19 gesehen haben und wie Science Fictions zeigt, sind Wissenschaftler Menschen und anfällig für dieselben Sünden wie Nichtwissenschaftler. Wissenschaftler, die lügen (z. B. Wakefield und Impfstoffe) oder versuchen, die Sozialpolitik zu lenken (z. B. die Schulen diesen Herbst aufgrund von COVID-19 geschlossen zu halten, wenn infizierte Kinder eine Überlebensrate von 0,99997 haben), verursachen großen gesellschaftlichen Schaden. In Thomas Sowells wegweisendem A Conflict of Visions präsentiert er die Antinomie der eingeschränkten und nicht eingeschränkten Visionen. Der Wissenschaftler muss der Versuchung der uneingeschränkten Vision widerstehen, bei der der Wissenschaftler glaubt, dass er das Eigeninteresse (ob es sich in Betrug, Voreingenommenheit, Nachlässigkeit oder Hype manifestiert) durch Vernunft überwinden kann. Darüber hinaus ist ein Wissenschaftler, der Experte auf einem Gebiet der Wissenschaft ist, kein Experte auf einem anderen Gebiet – und sicherlich kein Experte für Politik oder Religion. Vielmehr muss der Wissenschaftler die eingeschränkte Vision vertreten und zugeben, dass er an sich selbst interessiert ist und dass seinem Fachwissen und seinem Wissen Grenzen gesetzt sind. Der ordnungsgemäß ausgeführte Peer-Review-Prozess ist eine Manifestation der eingeschränkten Vision.

Unabhängig von seinen Fehlern oder Auslassungen hat Ritchies Science Fictions eine gute Chance, die Wissenschaft zum Besseren zu verändern, und dafür profitieren wir alle von seiner Arbeit.

Comments are closed.