Äpfel, Birnen und viel Geld: Große Studien in der Ernährungsmedizin

Die Anzahl ernährungsmedizinischer Studien wächst unaufhörlich und es ist kaum möglich, dabei den Überblick zu behalten. Deshalb erfreuen sich Meta-Analysen großer Beliebtheit. Denn: Meta-Analysen ermöglichen einen schnellen Überblick und liefern eine fundierte, evidenzbasierte Zusammenfassung. Denkt man – stimmt aber nicht.

“Eine große Meta-Analyse konnte zeigen…”

Nicht nur bei wissenschaftlichen Laien, sondern auch unter vielen Wissenschaftlern und Medizinern ist die Vorstellung verbreitet, man könne sich den detaillierten Blick in unzählige Detailstudien zu einem bestimmten Thema sparen, indem man die aktuellste Meta-Analyse zu diesem Thema heraussucht und dort in die Schlussfolgerungen schaut. Ziel einer Meta-Analyse ist es in der Tat, verschiedene Einzelstudien zusammenzufassen, nach definierter Methodik auszuwerten und damit ein Fazit der Gesamtschau zu liefern. Neben der vermeintlichen Zeitersparnis, die der Blick in eine solche Meta-Analyse suggeriert, wird in aller Regel angenommen, eine große Meta-Analyse könne durch die Zusammenfassung verschiedener Einzelstudien eine viel größere Evidenz – also wissenschaftliche Aussagekraft – liefern als jede der Einzelstudien für sich genommen. Dabei handelt es sich um einen Irrglauben – und zwar insbesondere in der Ernährungsmedizin. Eine Gruppe von Epidemiologen, Medizinern und Ernährungswissenschaftlern erläutert dies nun mit anschaulichen Beispielen in einem sehr lesenswerten Beitrag im amerikanischen Ärzteblatt JAMA („The Misuse of Meta-Analysis in Nutrition Research“, Barnard et al. 2017).

“Schrott rein, Schrott raus”

Dass eine große Meta-Analyse nicht automatisch “besser” ist als eine kleine Einzelstudie klingt zwar wie eine Binsenweisheit, wird aber gerade in der Ernährungsmedizin oft vergessen. Nicht umsonst beginnen die Schlagzeilen in den Wissenschaftsrubriken häufig mit den Worten “In einer großen Studie wurde gezeigt…”. Dabei gilt selbst für noch so große Studien: “Garbage in, garbage out” – schlechte Einzelstudien können keine gute Meta-Analyse liefern, und die Zusammenfassung vieler methodisch schlechter Einzelstudien produziert nicht wie durch ein Wunder eine aussagekräftige Großstudie. Hinzu kommt: Gerade in der Ernährungsmedizin sind die Methoden und Probandengruppen der Einzelstudien meist so unterschiedlich, dass eine zusammenfassende Meta-Analyse nicht nur Äpfel mit Birnen vergleicht, sondern sogar “Äpfel mit Orangen, Läusen und Killerwalen” (Eysenck 2015). Die Autoren des aktuellen JAMA-Beitrags geben anschauliche Bespiele für die teilweise gezielt manipulative Darstellung und die folgenreiche Fehlinterpretation von Meta-Analysen in der Ernährungsmedizin.

Ein zeitgenössischer “Klassiker” in diesem Kontext ist der mediale Umgang mit den Ergebnissen der größten Meta-Analyse zum Zusammenhang zwischen gesättigten Fettsäuren in der Nahrung und dem kardiovaskulären Risiko (Chowdhury et al. 2014): Diese Meta-Analyse fasste die Ergebnisse von 76 Studien mit insgesamt über 600.000 Probanden zusammen. Eine dieser 76 Einzelstudien (die sog. Malmö-Studie) zeigte keinen Zusammenhang zwischen dem Verzehr gesättigter Fettsäuren und der Häufigkeit kardiovaskulärer Erkrankungen – doch die Autoren eben dieser Malmö-Studie räumten in der Publikation selbst ein, dass ihre Methodik keinerlei Verallgemeinerungen dieses Nicht-Zusammenhangs erlaubt. In der zusammenfassenden Meta-Analyse der 76 Einzelstudien dagegen wurde aber eben diese einzelne, wenig bis gar nicht aussagekräftige Malmö-Studie besonders herausgestellt – und das mediale Echo darauf war gewaltig: “Butter is Back” titelte die New York Times, und das TIME-Magazin zeigte als Cover “Eat Butter”. Dass die übrigen 75 Einzelstudien teilweise ganz andere Ergebnisse lieferten, spielte keine Rolle mehr.

Am Rande: Wer sich für diese wirklich verrückte Butter-Geschichte interessiert, findet im entsprechenden Blog-Beitrag von Marion Nestle (nein, sie hat nichts mit der Skandal-Firma zu tun) einen profunden und sehr unterhaltsamen Einblick.

Wissenschaft und das große Geld

Auch die interessierte Lebensmittel-Industrie hat die Meta-Analysen für sich entdeckt. Da dieser Studientyp den Ruf höchster wissenschaftlicher Evidenz genießt, ist es leicht möglich, insbesondere vermeintliche Nicht-Effekte bestimmter Lebensmittel in Form von Meta-Analysen publikumswirksam zu präsentieren – exorbitant große Fallzahlen inklusive. Eine größere Fallzahl bedeutet jedoch nicht automatisch einen höheren “Wahrheitsgehalt”: Wenn sich die Einzelstudien in ihren Methoden und demographischen Parametern wesentlich voneinandern unterscheiden, kann eine Meta-Analyse die statistische Aussagekraft (“Power”) sogar reduzieren. Als Beispiel: Zeigt eine kleine, methodisch gute Einzelstudie, dass der Verzehr gesättigter Fettsäuren tatsächlich mit einer erhöhten Erkrankungshäufigkeit korreliert, dann kann man diesen Effekt statistisch zunichte machen, indem man diese Ergebnisse in einer großen Meta-Analyse mit methodisch sehr unterschiedlichen Studien kombiniert – und fertig ist der Null-Effekt. Zur Detektion solcher Effekte helfen Sensitivitätsanalysen oder die Anwendung der PRISMA-Kriterien.

Macht man sich diesen Zusammenhang klar, dann überrascht es natürlich wenig, dass gerade in der Ernährungsmedizin Industrie-gesponsorte Studien überwiegend das erwünschte Ergebnis liefern – wie Lenard Lesser schon 2007 in seiner berühmten Auswertung von 111 ernährungsmedizinischen Studien zeigen konnte.

Worauf kann man achten?

Will man den Dingen genau auf den Grund gehen, sollte man sich beim Lesen von Meta-Analysen die eingeschlossenen Einzelstudien sehr genau anschauen, und auch die Anwendung des PRISMA-Fragebogens zur methodischen Prüfung ist sinnvoll. All das ist jedoch aufwendig und kostet ziemlich viel Zeit. Wenn man diese Zeit – wie die meisten Menschen – nicht hat, sollte man im Hinblick auf ernährungsmedizinische Meta-Analysen zumindest eines definitiv nicht tun: Die Studienergebnisse unkritisch nur deshalb für bare Münze nehmen, nur weil es sich um die Ergebnisse einer “großen Meta-Analyse” handelt.