Anfang Juli berichteten große deutsche Medien von „Ärzteblatt“ bis „Welt“ über eine Studie, die die Wirksamkeit der Covid-Impfung endgültig bewiesen habe. Die Impfstoffe seien hocheffizient und absolut sicher und ihre Nebenwirkungen seltene, unbedeutende Anomalien. Das Problem: Der wissenschaftlicher Wert und die Beweiskraft der Studie sind gleich Null.
von Boris Kotchoubey
Der Ende Juni in „The Lancet” erschienene Artikel „Safety and efficacy of mRNA vaccines: a mechanistic and public health perspective” von Blackney et al. erklärt alle Covid-19-Impfstoffe als hocheffizient und absolut sicher und ihre Nebenwirkungen als seltene, unbedeutende Anomalien. Der Artikel wurde in zahlreichen Massenmedien (u.a. hier, hier und hier) als Abschluss der Diskussion über diese Impfstoffe und als endgültiger Beweis für eine ausgesprochen positive Nutzen/Schaden-Balance.
Dabei verweisen die meisten (z.B. n-tv) entgegen dem eigenen erklärten Anspruch nicht auf die Lancet-Publikation, sondern auf die Pressestelle der Universität British Columbia, obwohl es bekannt ist, dass Pressestellungen der Universitäten über die eigenen Fachpublikationen niemals kritisch berichten (kennt jemand Pressemitteilungen der Autohersteller, in denen die Nachteile der eigenen Autos kritisch unter die Lupe genommen werden?) Es entsteht daher der Eindruck, dass manche Wissenschaftsjournalisten den Originalartikel gar nicht gelesen haben. Aber lassen wir die Gepflogenheiten des Wissenschaftsjournalismus weg und wenden uns der Originalpublikation selbst zu.
Nur wenige Wochen davor wurde ein anderer Artikel von Pilic et al. veröffentlicht (eine kurze Analyse siehe hier). Pilic et al. wandten das Instrument AMSTAR-2 an und stellten fest, dass über 90 Prozent von systematischen Übersichtsartikeln zum Thema Impfung den aktuell geltenden Qualitätskriterien nicht genügen. Es bietet sich daher an, auch den Artikel von Blackney et al. in diesem Licht anzuschauen.
AMSTAR-2 formuliert sechzehn Qualitätskriterien, von denen sieben kritisch sind: 1. Ein vorab festgelegtes Protokoll soll gewährleisten, dass die Autoren die Ergebnisse ihrer Analyse nicht im Nachhinein an ihre vorgefasste Meinung anpassen. 2. Die Literaturrecherche soll korrekt durchgeführt werden. 3. Wenn Studien aus der Analyse ausgeschlossen werden (was bei Reviews fast immer der Fall ist), muss jeder Ausschluss begründet werden. 4. Für jede individuelle Studie, auf der die Übersichtsstudie basiert, muss mit Hilfe der dafür entwickelten Instrumente das Risiko eingeschätzt werden, dass in dieser Studie Datenverzerrungen auftreten können („risk of bias“). 5. Die Diskussion der Gesamtergebnisse muss diese risk of bias streng berücksichtigen; falls (was oft unvermeidlich ist) bestimmte Schlussfolgerungen auf einer wackligen Basis beruhen, muss diese Tatsache hervorgehoben werden. 6. Außer der möglichen Datenverzerrungen in individuellen Studien muss die Möglichkeit einer speziellen Verzerrung überprüft werden, die dadurch entsteht, dass positive Ergebnisse eher publiziert werden als negative. (Der 7. kritische Punkt betrifft nur quantitative Analysen und ist daher zur Studie von Blackney et al. unanwendbar.)
Kein einziges Kriterium von Amstar-2 eindeutig erfüllt
Die Qualität wird als „kritisch niedrig“ bewertet, wenn mindestens zwei dieser Kriterien nicht erfüllt sind. Solche Übersichtsarbeiten sind unzuverlässig. Bei Blackney et al. wird aber von den sechs prinzipiell anwendbaren Kriterien kein einziges eindeutig erfüllt. Bezüglich P. 2 erwähnen die Autoren zwar kurz, dass sie die Literatur in der Datenbank PubMed nach bestimmten Begriffen gesucht haben, aber wie sie die gefundenen Publikationen weiter behandelt haben, bleibt unklar. Da man mit den gleichen Begriffen sehr unterschiedlich suchen kann, müssen nicht nur Suchbegriffe, sondern auch das Suchverfahren beschrieben werden, damit ein kritischer Kollege die Prozedur wenn nötig wiederholen kann. Die Referenzliste bei Blackney et al. besteht aus 190 Publikationen. Nicht alle davon sind wissenschaftliche Artikel, da in der Liste auch einige offizielle Behördendokumente stehen. Aber nur zu einem Begriffspaar „mRNA oder messenger RNA“ finden sich in PubMed innerhalb des referierten Zeitraums zwischen 1.01.2020 und 31.12.2025 mehr als 160 Tausend (!) Publikationen, zu dem Begriff „Covid-19 vaccine“ mehr als 500 Publikationen, usw.
Heutzutage wird in Übersichtsarbeiten der Umgang mit den relevanten Quellen mit Hilfe eines PRISMA-Diagramms dargestellt, in dem man zeigt, wie viele Artikel angeschaut wurden, wie viele von ihnen Duplikate sind, in wie vielen der wichtige Suchbegriff (z.B. mRNA) zwar vorkommt, aber in der Studie doch um etwas anders geht, usw., usf. Weder dieses Diagramm noch eine äquivalente wörtliche Beschreibung kann man bei Blackney et al. finden. Es wird keine Begründung für Ausschluss von (wahrscheinlich Tausenden) potenziell relevanten Publikationen angegeben, die wissenschaftliche Qualität der zitierten Publikationen wird nicht geprüft, und eine Analyse der Heterogenität der Ergebnisse erübrigt sich natürlicherweise, da heterogene Befunde gar nicht erwähnt werden.
Die Analyse der möglichen Quellen von Datenverzerrungen („bias“) gehört heute zu den wichtigsten Aufgaben jeder analytischen Übersichtsstudie. Bei Blackney et al. kommt das Wort „bias“ nur zweimal vor, wenn die Autoren über mögliches „overreporting“ spekulieren, d.h. mutmaßen, dass Ärzte möglicherweise mehr Nebenwirkungen berichten, als es tatsächlich gibt. (Gründe für diese Mutmaßung gibt es keine.) Bekannterweise kann das sogenannte healthy vaccinee bias (d.h. Geimpfte und Ungeimpfte unterscheiden sich in ihrem Gesundheitszustand noch vor der Impfung) die wichtigste Verzerrungsquelle bei der Bewertung von Impfeffekten sein; Blackney et al. erwähnen dieses bias mit keinem Wort. Die andere allgemein bekannte Sorge bei Covid-Impfstoffen ist die steile Wirksamkeitsabnahme mit der Zeit; auch dieses Problem wird nur oberflächlich erwähnt.
Ein negativer Rekord
Was ist mit den sonstigen („nicht-kritischen“) Qualitätskriterien von AMSTAR-2? Das vom Kriterium 1 geforderte Beschreibung von Patientengruppe, Intervention, Vergleich und Outcome fehlt zwar explizit, aber man kann aus dem Text die entsprechende Information extrahieren, so können wir diesen Punkt großzügig akzeptieren. Das Kriterium 16 (Angabe zu Interessenkonflikten) ist ebenfalls erfüllt. Aber es gibt keinen Hinweis auf doppelte Überprüfung von Artikeln und deren Ergebnissen (Kriterien 5 und 6), die Einzelheiten der zitierten Studien werden nicht analysiert (Kriterium 8), so dass der Leser nicht immer weiß, ob eine zitierte Studie eine Originalstudie oder ein Review ist, ob sie eine randomisierte oder retrospektive Beobachtungsstudie ist, welchen Evidenzstatus sie hat und welche Limitationen sie einräumt. Insgesamt werden von den 14 Qualitätskriterien (zwei von den 16 sind unanwendbar) lediglich zwei erfüllt: Ein negativer Rekord.
Nun, wir können das Argument vorhersehen, das Review von Blackney et al. sei anders konzipiert und solle gar nicht nach AMSTAR-2-Kriterien gemessen werden. Aber genau das ist der Punkt: Warum soll ein Text veröffentlicht werden, der nicht mal beabsichtigt, die minimalsten (Grammatiker bitten wir um Entschuldigung!) Qualitätskriterien zu erfüllen? Wozu hat die Medizin in den letzten Jahrzehnten so intensiv an Qualitätssicherung und Methodologie gearbeitet, wenn man alle erarbeiteten und etablierten methodologischen Kriterien einfach ignorieren kann? Und – zurück zu der Grammatik – wenn die Studien mit zwei kritischen Defekten als „schlechte“ charakterisiert werden, welche Steigerung dieser Bewertung eine Studie verdient, die sechs kritische Defekte aufweist?
Im Zeitalter der evidenzbasierten Medizin haben solche Übersichtsartikel keine Existenzberechtigung. Reviews, die sich an keine harten Regeln halten, können nicht objektiv sein, sondern spiegeln lediglich die Meinung der Autoren wider. Ihr wissenschaftlicher Wert, ihre Beweiskraft sind gleich Null, und wenn sie nicht als „Meinung“ gekennzeichnet werden (wie es im guten Journalismus üblich ist), können sie den Leser nur in die Irre führen. Selbst die Autoren, die kein eigenes Interesse haben, verzerren die Datenlage unbewusst zugunsten der eigenen Meinung, wovon noch einer der Gründer der modernen Wissenschaft Francis Bacon im 17. Jahrhundert schrieb. Diese Verzerrung kann dramatische Maßstäbe erreichen, wenn, wie in diesem Fall, alle Autoren des Reviews üppige Honorare von denselben pharmakologischen Konzernen erhalten hatten, deren Produkte sie jetzt rühmen. Da ist schon die Grenze zwischen Meinung und Werbung in der Nähe.
Eine Kaskade der Unverlässlichkeit
Der Teufel sitzt im Detail, und in der Wissenschaft stimmt dieser Spruch besonders. Die im Checklist AMSTAR-2 formulierte Anforderungen sind deshalb lebenswichtig, weil man ansonsten im Nebel bleibt: Wie genau wird in einer zitierten Studie der Status „geimpft“ definiert? Werden die Ereignisse auch zwischen der ersten und der zweiten Impfdosis mitgezählt? Wird die Vergleichsgruppe der Ungeimpften simultan (d.h. während der Impfkampagne) oder zeitversetzt (z.B. 2020) untersucht? All diese, und viele andere Einzelheiten können das Ergebnis drastisch beeinflussen, und deshalb fordern die modernen Standards, dass so viele Details wie möglich in Reviews beschrieben und analysiert werden. Eine bloße Erwähnung eines Hauptergebnisses (z.B. Prozent Nebenwirkungen) ist keine Wissenschaft.
Es kommt zu einer Kaskade der Unverlässlichkeit. Sehr viele empirische Studien werden durchgeführt, die erhebliche Mängel oder zumindest wichtige Einschränkungen haben. Systematische Reviews versuchen die Ergebnisse dieser Studien zusammenzufassen, aber die meisten von ihnen (s.o. Pilic et al., 2026) ignorieren die Probleme der Originalstudien und geben die Ergebnisse noch stärker verzerrt weiter. Die Übersichten wie Blackney et al. zitieren diese systematischen Reviews, ohne auf deren Mangelhaftigkeit zu achten und übernehmen unkritisch jedes proklamierte Ergebnis, sobald es ihre Meinung bestätigt. Die Pressestelle der Universität hebt nur die Aspekte hervor, die auf die Universität gutes Licht bringen und vermeidet jede Selbstkritik wie die Pest. Schließlich kopiert die deutsche Presse den Bericht der Pressestelle genauso unkritisch.
Blackney et al. haben einfach aus dem Ozean der vorhandenen Literatur zu den Covid-Impfungen ein paar Publikationen herausgefischt, die zu ihrer vorgefassten Meinung passen und ließen alles andere weg. Sie verstehen es nicht, dass auch die radikalsten Antivaxxer genau das Gleiche machen könnten und ein ähnliches „Review“ präsentieren, in dem sie zeigen würden, dass nicht nur Covid-, sondern auch alle anderen Impfungen Erzeugnisse des Teufels seien; unter den hunderttausenden Publikationen zum Thema Impfung lassen sich locker 190 zusammenkratzen, die jede beliebige Meinung bestätigen.
🆘 Wir können nur mit Ihrer Hilfe überleben!
Uns fehlen aktuell noch 73.000 von 110.000 Euro. Wenn Ihnen gefällt, was wir tun, dann zeigen Sie bitte Ihre Wertschätzung. Mit Ihrer Spende von heute ermöglichen Sie unsere investigative Arbeit von morgen: unabhängig, kritisch und ausschließlich dem Leser verpflichtet. Unterstützen Sie jetzt ehrlichen Journalismus mit einem Betrag Ihrer Wahl – einmalig oder regelmäßig. Die Höhe bestimmen Sie!
