5. September 2010

Homöopathie und klinische Studien: Ein Fallbeispiel

In einem früheren Blogeintrag habe ich erwähnt, die grosse Mehrheit wissenschaftlicher Untersuchungen zu Homöopathie käme zum Schluss, Homöopathie habe keine über den Placebo-Effekt hinausgehende Wirkung. Einige Studien aber kommen zum gegenteiligen Ergebniss, scheitern jedoch nicht selten an grundlegenden Anforderungen zeitgemässen wissenschaftlichen Vorgehens.
Vor Kurzem bin ich auf eine in diesem Zusammenhang interessante, am «Institut für Naturheilkunde» der Universität Zürich miterarbeitete Studie gestossen: «Test of a homeopathic dilution of Aconitum napellus» (Download-Link).
Das Spannende an dieser Studie ist, dass sie zum Schluss kommt, das Homöopathie-Präparat sei wirksam, dabei aber strengen Anforderungen gerecht zu werden scheint: Der Untertitel der Studie lautet «A Clinical, Randomized, Double-Blind, Controlled Crossover Study in Healthy Volunteers».
Im Folgenden möchte ich argumentieren, warum aber nicht alles Gold ist, was glänzt.

Die Studie untersucht, in wenigen Worten zusammengefasst, ob, unter Berücksichtigung einer experimentellen Anordnung, die Einnahme von Homöopathie-Kügelchen bei gesunden Menschen mehr «Symptome» hervorruft, als die Einnahme von Placebo-Kügelchen (d.h., Kügelchen, welche nicht vorrangig homöopathisch behandelt wurden) bei gesunden Menschen. Das Ergebnis der Untersuchung wird auf der ersten Seite zusammengefasst:
Ergebnisse: Die Crossover-Auswertung zeigte einen statistisch signifikanten Unterschied zwischen Aconitum napellus C30 und Placebo (p = 0,004). Schlussfolgerungen: Zwischen den Reaktionen von gesunden Probanden auf Aconitum napellus C30 und auf Placebo war ein deutlicher Unterschied nachweisbar. Das Crossover-Design mit intraindividuellem Vergleich erwies sich als adäquat beim Erkennen der Studienpräparate und bei der statistischen Analyse mit kleinen Fallzahlen.
Will heissen: Das Homöopathie-Präparat wirkt über den Placebo-Effekt hinaus. Ein kritischer Blick in Details der Studie ist angebracht, nicht zuletzt, weil die Zusammenfassung der Ergebnisse noch nicht aufzeigt, wie diese Ergebnisse erzielt wurden.

Theorie und Hintergrund
Wie in den meisten wissenschaftlichen Studien wird auch in dieser beschrieben, warum sie durchgeführt wird. Auf der ersten Seite, welche die Zusammenfassung enthält, gibt der Punkt «Hintergrund» Aufschluss:
Reaktionen von gesunden Menschen auf homöopathische Mittel werden zwar häufig berichtet, der diesen Reaktionen zugrundeliegende Mechanismus ist aber noch ungeklärt. Diese Studie untersucht, ob zwischen den Reaktionen von gesunden Probanden auf eine homöopathisch verdünnte Substanz – Aconitum napellus C30 – und auf ein Placebo unterschieden werden kann.
Bereits der erste Satz ist nicht schlüssig: Zu Beginn wird behauptet, es würden «häufig» Reaktionen von gesunden Menschen auf homöopathische Mittel berichtet. Die sich aufdrängende Frage wäre an und für sich, ob diese «Reaktionen» tatsächlich Reaktionen auf homöopathische Mittel sind. Diese Frage überspringen die Autoren und behaupten stattdessen, dass der diesen Reaktionen zugrundeliegende Mechanismus noch ungeklärt sei. D.h., die Autoren interpretieren implizit eine (angebliche) Korrelation als Kausalität, ohne dies zu begründen.
Der zweite Satz macht, in Anbetracht des ersten, wenig Sinn: Im ersten Satz wird gesagt, dass Homöopathie auf gesunde Menschen wirke, aber nicht bekannt sei, wie diese Wirkung zu Stande komme. Der zweite Satz aber sagt, dass in der vorliegenden Studie untersucht werden soll, ob Homöopathie auf Gesunde wirkt - und nicht, wie der erste Satz vermuten lässt, wie Homöopathie auf Gesunde wirkt.
Solche Kritik mag kleinlich sein, aber diese logische Inkonsistenz zu Beginn ist ein Vorzeichen für den Rest der Studie: Dass Homöopathie wirkt, steht für die Autoren der Studie ausser Frage. Das Vorgehen erweckt aber den Eindruck, es solle geprüft werden, ob Homöopathie wirkt.

Auf Seite 169 ist eine ausführlichere Einleitung vorhanden. Der erste Satz beschreibt das homöopathische Prinzip des «simila similibus curentur» - «Ähnliches wird durch Ähnliches geheilt». Danach folgt eine Behauptung, welche wiederum unbegründet ist:
Although there are several interesting models to explain the mechanism of action of homeopathic preparations [2–5], this remains largely unknown and is still somewhat controversial.
Die Aussage ist unmissverständlich, dass Homöopathie wirkt: Ein «mechanism of action of homeopathic preparations» ist gegeben, es ist nur unklar, wie genau dieser Mechanismus funktioniert. Diese Annahme, auf welcher die Studie gründet, wird im nächsten Absatz nochmals verdeutlicht:
The symptoms which are generated by homeopathic preparations can be distinct in different patients even in the context of the same illness. Also, the number and nature of symptoms induced by these preparations in healthy subjects may vary [15].
Homöopathische Mittel verursachen also Symptome - die Frage, ob solche Mittel Symptome verursachen, scheint für die Autoren geklärt.
Der Schluss ist spätestens hier offensichtlich: Diese Studie geht nicht der Frage nach, ob Homöopathie wirkt. Dass Homöopathie wirkt, ist Prämisse der Studie.

Ein Detail, welches auch im Abschnitt «Introduction» besprochen wird, ist von Bedeutung für den Rest der Studie: Die sogenannte «symptom totality». Was damit gemeint ist, beschreiben die Autoren folgendermassen:
In homeopathy, the term ‘symptom’ has a wider meaning than in conventional medicine: it includes all signs in connection with an illness and all reactions reported within a pharmaceutical test [16]. The sum of the observed signs in all tested subjects is associated with a given homeopathic preparation – often called ‘symptom totality’ – and constitutes the basis for its further use in daily practice. Although this pragmatic approach has proved useful from the perspective of many homeopaths and patients, there has been little research on this approach per se. One difficulty in research on homeopathy concerns the fact that the tools from conventional clinical research have limited use in this conceptually different medical approach.
Diese Definition ist etwas schwammig, immerhin wird aber erwähnt, dass klinische Forschung nur bedingt nützlich sei für das Konzept der «symptom totality» - damit wird impliziert, dass das Problem bei den Werkzeugen klinischer Forschung liegt, nicht bei dem Konzept der «symptom totality».
Weitere Definitionen für «symptom totality» sind aber nötig, um zu verstehen, was dieses Konzept von, z.B., klassischer Diagnostik unterscheidet. Die Autoren sagen bereits, dass es sich dabei um die «sum of all observed signs in all tested subjects» handle, was klingt, als ob in dieser Studie jede Korrelation zwischen «Symptom» und der Einnahme des Homöopathie-Mittels zur «symptom totality» gezählt wird. 
Ein Teil der «symptom totality», der «Gesamtheit der Symptome», ist ein leidlich gelingender Abgrenzungsversuch zu «Schulmedizin». Auf der Internetseite der «Zürcher Ärztinnen und Ärtze für klassische Homöopathie» wird der Unterschied so erklärt:
Daraus ergeben sich im Vergleich zur Schulmedizin grundlegende Unterschiede in der Denk- und Vorgehensweise. So beruhen beide Systeme zwar auf exakter empirischer Beobachtung, doch ist die Art der Beobachtung und Interpretation unterschiedlich. In der Schulmedizin beruht die Therapie auf der klinischen Diagnose, wogegen individuelle Symptome des Patienten eine geringe Rolle spielen. Umgekehrt erfolgt die Arzneimittelwahl in der Homöopathie auf Grund der Gesamtheit der individuellen Symptome und Besonderheiten des Patienten. Die klini­sche Diagnose ist wichtig für die Beurteilung der medizinischen Situation, spielt aber für die Mittelwahl eine geringe Rolle. Die Verabreichung homöopathischer Arzneien und Mischpräparate nur auf eine klinische Diagnose hin widerspricht den Grundlagen der Homöopathie.
Aus dieser Erklärung geht nicht so recht hervor, was die «klinische Diagnose» vom homöopathischen Vorgehen unterscheidet - es wird gesagt, dass die klinische Diagnose zwar «wichtig für die Beurteilung der medizinischen Situation» sei, das homöopathische Vorgehen aber darüber hinaus mehr Dinge erfasst. Sind also Krankheiten und deren Symptome nicht medizinische Phänomene? Warum sollte «Schulmedizin» Symptome ignorieren, welche zu einem bestimmten Krankheitsbild gehören?
Der «Homöopathieverband Schweiz» greift in die esoterische Trickkiste, um zu erklären, was es mit Symptomen bei Homöopathie auf sich hat:
Mit Homöopathie kann man akute und chronische Krankheiten, Unfälle, Verletzungen und psychische Beschwerden behandeln. Im Mittelpunkt des Interesses steht der Mensch. Krankheit ist nach der homöopathischen Lehre eine Störung der Lebenskraft, die den ganzen Menschen erfasst. Fieber, Schmerz und weitere Symptome sind die Sprache des Organismus, um die Störung mitzuteilen. Ein Mensch gilt als gesund, wenn seine Empfindungen und Reaktionen in einem harmonischen Gleichgewicht sind, er also fähig ist, auf krankmachende Reize der Umwelt ausgleichend zu reagieren. Das Ziel der homöopathischen Behandlung besteht darin, dieses Gleichgewicht wiederherzustellen. Dazu ermittelt der/die HomöopathIn ein Arzneimittel gemäss dem Ähnlichkeitsprinzip, das die Gesamtheit der Symptome des/der Patient/in abdeckt.
Es ist erschreckend, dass dieser Verband behauptet, Homöopathie könne auch Unfälle und Verletzungen behandeln - offenbar begreifen nicht alle die homöopathische Notaufnahme als Witz. Daneben fällt die Behauptung einer «Lebenskraft» auf, welche dann gestört ist, wenn «Empfindungen» und «Reaktionen» eines Menschen nicht in «harmonischem Gleichgewicht» sind.

Das Ironische am homöopathischen Vorgehen ist, dass der «Schulmedizin» zwar vorgeworfen wird, nur Symptome zu bekämpfen während Homöopathie die «Lebensenergie» wieder ins Lot bringt, es am Schluss aber es gerade Homöopathie ist, die eine Summe von «Symptomen» bekämpft, ohne angeben zu können, was die dahinterliegende Krankeit ist.
Es stellt sich noch die Frage, wie Homöopathinnen und Homöopathen bestimmen, welche «Symptome» mit welchen Homöopathie-Präparaten geheilt werden sollen. Dazu werden sogennante «Homöopathische Arzneimittelprüfungen» durchgeführt: «Gesunden» Personen werden Homöopathie-Kügelchen verabreicht und während einer bestimmten Zeitdauer werden alle körperlichen wie geistigen Veränderungen bei den Versuchspersonen als durch das Homöpathie-Präparat ausgelöst angesehen. Die Willkür dieser «Prüfungen» ist offensichtlich, einheitliches Vorgehen gibt es nicht.

Was also hat es mit der «symptom totality», der «Gesamtheit der Symptome» auf sich? Die Antwort ist, wenn ich dies richtig beurteile: Anything goes.

Untersuchungsdesign
Grafik 1 auf Seite 169 fasst das Design der Studie zusammen:

Es handelt sich um ein randomisiertes Doppelblind-Experiment. Das Vorgehen in der Studie wurde sowohl von der «Kantonalen Ethikkommission Zürich» als auch von «swissmedic» gutgeheissen. Die Autoren wandten ein «Crossover»-Design an: Die erste Gruppe der Studienteilnehmenden erhielt zunächst das Homöopathie-Präparat und in der anschliessenden Phase das Placebo; bei der zweiten Gruppe war die Reihenfolge umgekehrt.

Eine Besonderheit fällt auf: Alle Versuchspersonen dieser Studie waren Angestellte des «Paracelsus-Spitals Richterswil», eines «komplementärmedizinischen» Spitals, in welchem «Antrhoposophie» praktiziert wird; «Anthroposophie» nutzt homöopathische Präparate. Hier drängt sich die Frage auf, ob die in einem «komplementärmedizinischen» Spital arbeitenden Versuchspersonen nicht im Vornherein die Ergebnisse hätten verfälschen können: Für sie als Kennerinnen und Kenner der Materie besteht die Möglichkeit, dass sie während der Studie das Homöopathie-Präpparat vom Placebo haben unterscheiden können (falls es derartige Unterschiede, z.B. bei der Konsistenz der Zuckerkügelchen, überhaupt gibt). Eine weitere Verfälschungsquelle ist die Parteilichkeit der Versuchspersonen: Im Interesse aller Probanden war zum Zeitpunkt der Studie zweifellos, dass diese zum Ergebniss kommen möge, Homöopathie wirke - schliesslich handelt es sich um Angestellte eines «komplementärmedizinischen» Spitals, welche keine «schlechte Werbung» wollen.
Die Autoren erklären nicht, warum ausgerechnet diese auffällige Gruppe von Versuchspersonen ausgewählt wurde. Auf die möglichen die Studie verzerrenden Eigenschaften der Versuchsteilnehmer gehen die Autoren nicht ein.

Weitere Fragen wirft die Wahl des homoöpathischen Mittels und des Placebos auf. Beim Homöopathie-Mittel handelt es sich um «Aconitum napellus C30». Die Autoren erklären nicht, warum ausgerechnet dieses Mittel für den Versuch gewählt wurde.
Die Placebo-Kügelchen, schreiben die Autoren auf Seite 170, wurden von der Firma «Spagyros AG» in Gümligen, BE, hergestellt. «Spagyros AG» ist ein Unternehmen, welches u.a. Homöopathie-Kügelchen herstellt und verkauft. Die Gefahr scheint mir offensichtlich: «Spagyros AG» hat Interesse daran, dass Studien zum Schluss kommen, Homöopathie wirke. Deshalb ist ein korrumpierender Einfluss denkbar, etwa bei Placebo-Kügelchen, welche sich in Form, Geschmack o.ä. von homöopathisch behandelten Kügelchen unterscheiden.
Auch diese Gefahrenquelle sprechen die Autoren nicht an.

Methodisches Vorgehen
In diesem Abschnitt möchte ich zwischen Methoden der Datenerhebung und der Datenauswertung unterscheiden.

1. Datenerhebung
Die Datenerhebung beschreiben die Autoren auf Seite 169:
The main instruments used in this study were diaries in which the participants documented every day all symptoms or signs they experienced, and four forms filled in by the researchers during the visits. Subjects were asked to use their own words and to be as exact as possible when describing the symptoms in their diaries. Moreover, the diaries included a questionnaire aiming at calling the subjects’ attention to as many different items as possible. The written diaries served as a basis for the conversation between researchers and subjects during the visits following the different phases of the study. Diaries 2 and 3, and corresponding forms were used for the assessments of phase 2 and 3 of the study, respectively.
Zum einen haben die Probanden Tagebücher geführt, in welchen sie alle «Symptome» für die unterschiedlichen Testphasen notieren sollten. Zum anderen wurden die Probanden von den Autoren der Studie besucht; diese haben mehrmals ein Formular zu den «Symptomen» der Probanden ausgefüllt.
Es wird nicht ausdrücklich erklärt, ob die Formulare, welche die Autoren der Studie während der Besuche ausgefüllt haben, in die Datenauserwertung eingeflossen sind. Gemäss dem letzten Satz des obigen Zitates müsste dem so sein.

Was aus den Methoden der Datenerhebung aber hervorgeht: Die Autoren der Studie waren an der Datenerhebung aktiv beteiligt: Einen Teil der «Symptome» haben die Autoren beobachtet, sie waren mit den Probanden aktiv im Gespräch. Das bedeutet auch: Es besteht die Möglichkeit, dass die Autoren die Sammlung der «Symptome» durch die Probanden beeinflusst haben.
Die Autoren wussten, dass die Crossover-Anordnung bedeutet, dass, wenn Homöopathie wirken sollte, die Anzahl oder Art der «Symptome» für jede Gruppe in einer der zwei relevanten Phasen auffällig sein musste. Das heisst, dass, auch wenn die Autoren nicht gewusst haben, in welcher Phase welche Gruppe das Placebo zu sich nahm, sie eine 50%-Chance hatten, durch (gewollte oder ungewollte) Beeinflussung der Gruppen die Daten zu  Gunsten des Homöopathie-Mittels zu verzerren (und entsprechend ein 50%-Risiko, die Daten zu Ungunsten des Homöopathie-Mittels zu verzerren). Für diesen möglichen verzerrenden Effekt spielt es keine Rolle, ob die Formulare der Autoren für die Datenauswertung genutzt wurden, da dafür der Kontakt zwischen Autoren und Probanden hätte genügen können.

Ich bin kein wahrlich Experte auf dem Gebiet der Durchführung klinischer Studien, kann mich aber des Eindruckes nicht erwehren, die Art der Datensammlung in der vorliegenden Studie verstosse gegen das Prinzip eines Doppelblindversuches. Die Autoren der Studie waren Teil der Herstellung der Daten; die 2x2-Konstellation der Versuchsanordnung bietet die Gefahr, dass die Autoren nicht bei allen Visitationen der Probanden auf dieselbe Art vorgingen.
Diese Gefahr ist umso grösser, als es sich bei den gesammelten Daten um «Symptome» gemäss homöopathischer Lehre handelt, also um letztlich subjektiv-willkürliche Merkmale, bei denen die Gefahr verzerrender Wahrnehmung gross ist.


2. Datenauswertung
Bei der Datenauswertung handelt es sich letztlich um eine Übung in «homöopathischer Arzneitmittelprüfung», wie auf Seite 170 beschrieben wird:
A physician trained in homeopathy (D.P.) checked diaries 2 and 3 under blinded conditions and classified the subjects as having received Aconitum or placebo during phase 2 and 3 of the study. In other words, based on the symptoms described in each diary, the physician determined the medication the subject had taken. For this purpose, he evaluated the symptoms according to the homeopathic point of view, i.e. rated and organized them in a repertory.
Ein Homöopath klassifizierte die für die relevanten Phasen gesammelten «Symptome» und beurteilte, ob die «Symptome» zu einer Homöopathie- oder einer Placebophase gehören. Was genau Sinn dieser Übung sein soll, ist unklar.
Zunächst wird hier nicht erwähnt, ob auch die Formulare der Autoren, welche sie während den Besuchen der Probanden erstellten, in die Auswertung einfliessen. Daneben gilt zu bedenken, dass die Anzahl Probanden mit 27 gering war, also das Ergebnis der Datenauswertung auf diesem Wege wenig aussagekräftig ist: Bei geringer Fallzahl kann auch das blosse Werfen einer Münze zu vermeintlich relevanten Ergebnissen führen.

Was aber in Anbetracht der Datenerhebung stossend ist: Der ganze Prozess basiert auf homöopathischen Annahmen: Die Art der erfassten «Symptome» entstammt der Homöopathie, die Auswertung dieser «Symptome» ebenfalls. Da beides willkürliche Schritte sind (die Auswertung der Symptome erfolgte u.a. mittels der «RADAR»-Software, einer Homöopathie-Software), ist der eigentliche Sinn dieser Studie, nämlich mittels Doppelblind-Verfahren wissenschaftlich brauchbare Erkenntnisse zu gewinnen, parodiert.
Ein weiterer Negativpunkt ist, dass die Autoren nicht erwähnen, was für «Symptome» wann gesammelt wurden. Es ist verständlich, dass aus Platzgründen nicht alle Daten aufgelistet werden, aber, dass die gesammelten Daten überhaupt ohne Beschreibung bleiben, ist problematisch, da unerklärt.

Ein weiterer Schritt der Datenauswertung ist die statistische Prüfung der Robustheit der Ergebnisse.

Ergebnisse und Diskussion
Die Ergebnisse sind in Tabelle 2 auf Seite 171 zusammengefasst:
Insgesamt lag der Homöopath bei der homöopathischen Bewertung der homöopathisch gesammelten «Symptome» in ca. 70% der Fälle richtig. D.h., in knapp 67% der Fälle während der Homöopathie-Phasen bewertete der Homöopath die «Symptome» als Effekt eines Homöopathie-Mittels, in knapp 74% der Fälle während der Placebo-Phasen bewertete der Homöopath die «Symptome» als Placebo-Symptome.
Tabelle 3 auf Seite 171 (hier nicht abgebildet), zeigt, dass die Ergebnisse statistisch signifikant sind.

Die Autoren interpretieren die Ergebnisse folgendermassen (S. 172):
In summary, our study supports the hypothesis that the reactions of healthy subjects to the homeopathic dilution of Aconitum napellus C30 can be distinguished from those to placebo. Furthermore, it suggests that an intra-individual comparison against placebo in a crossover design might be very helpful to investigate the reactions of healthy subjects to homeopathic dilutions.
Hier fällt ein Fehlschluss mit bekanntem Muster auf: Weil ein Homöopath überduchschnittlich erfolgreich war bei der Bestimmung von Homöopathie- und Placebophasen, behaupten die Autoren, die Reaktionen der Probanden auf das Homöopathie-Mittel liessen sich vom Placebo-Effekt unterscheiden. Das ist ein Fehlschluss, weil nicht einleuchtend ist, warum die gemäss Regeln der Homöopathie erfassten «Symptome» eine Reaktion auf das homöopathische Mittel sein sollen. Die Autoren ziehen nicht in Betracht, dass diese «Symtome» beispielsweise nicht in kausalem Verhältnis zum Homöopathie-Mittel stehen könnten, sondern bloss zeitgleich mit der Einnahme des Homöopathie-Mittels auftreten.

Ein interessanter Punkt ist die Anzahl erfasster «Symptome». Dazu die Autoren auf Seite 171:
A total of 109 symptoms were described by the subjects during the verum treatment, whereas the number of symptoms mentioned during the placebo treatment was only 36.
Mit 109 ist die Anzahl erfasster «Symptome» während den Homöopathie-Phasen deutlich höher, als die Anzahl «Symptome» während den Placebo-Phasen. Dafür kann es mehrere Gründe geben.
Ein Grund könnte sein, dass das Homöopathie-Mittel tatsächlich mehr «Symptome» hervorruft - diese Interpretation ist, angesichts weiterer Umstände, die am wenigsten plausible.
Relevant könnten die verhältnismässig zahlreichen potentiellen Verzerrungsquellen sein: Die Placebo-Kügelchen wurden von einer Homöopathie-Firma hergestellt, die Probanden der Studie waren zum Zeitpunkt des Versuchs Mitarbeitende eines «komplementärmedizinischen» Spitals, die Autoren der Studie waren aktiver Teil der Datenherstellung.
Des Weiteren können bei geringen Fallzahlen wie in dieser Studie (n=27) unzählige Alltagserscheinungen einen Einfluss auf die beobachteten «Symptome» nehmen, so zum Beispiel der weibliche Menstruationszyklus, das Wetter, Belastung am Arbeitsplatz uvm. Insbesondere ist zu beachten, dass die Probanden denselben Arbeitsort haben, also bestimmte Faktoren kumulative Effekte haben können (banales Beispiel: Die Kaffeemaschine ist defekt).

Zusammenfassung: Homöopathie und Pseudo-«Peer review»
Mein obiger Wortschwall soll zu diesem Fazit führen: Der Form nach ist die Studie «Test of a homeopathic dilution of Aconitum napellus» gelungen, da ein randomisierter Doppelblind-Versuch durchgeführt wird. Der eigentliche Inhalt ist aber derart von logischen Fehlschlüssen in Form von «leaps of faith», potentiellen Verzerrungsquellen und gänzlich abwesender Selbstkritik durchzogen, dass die Ergebnisse der Studie irrelevant sind.

Diese Studie ist auch für akademisch kaum bewanderte wie mich voll wunder Punkte - sie wurde aber in einer Fachzeitschrift veröffentlicht, hat also den grundsätzlich nützlichen «peer review»-Prozess durchlaufen. Bin also doch nur ich der besserwissende Zyniker, der auf Biegen und Brechen andere überzeugen will, dass Homöopathie Pseudowissenschaft ist?

Letzteres trifft sicher ein Stück weit zu, trotzdem lohnt ein prüfender Blick auf die Zeitschrift, in welcher die Studie veröffentlicht wurde. Es handelt sich um eine aus Basel stammende Publikation mit dem Titel  «Forschende Komplementärmedizin». Die Liste der «peers» zeigt, dass von 52 Experten nicht weniger als 35 ihr Spezialgebiet in «Komplementärmedizin» haben (von Akupunktur über Homöopathie bis hin zu «tibetischer Medizin»).
Wird bedacht, dass «Komplementärmedizin» für viele ihrer Verfechter in erster Linie Glaubenssache ist (auch die in diesem Blogeintrag kritisierte Studie birgt die Prämisse, dass Homöopathie wirkt), ist die Qualität einer Zeitschrift, welche von Experten der «Komplementärmedizin» dominiert wird, fragwürdig. So verwundert es wenig, dass praktisch alle Artikel in «Forschende Komplementärmedizin» zum Schluss kommen, das jeweilige «komplementärmedizinische» Verfahren sei wirksam.
Die Erklärung der Ziele von «Forschende Komplementärmedizin» unter «Aims and Scope» verdeutlicht diese Problematik:
«Forschende Komplementärmedizin» ist eine internationale Zeitschrift, die auf wissenschaftlicher Ebene Brücken zwischen Schul- und Komplementärmedizin baut und somit die Integration dieser beiden Bereiche fördert.
«Forschende Komplementärmedizin» ist eine Pseudo-«peer review»-Zeitschrift: Ziel ist nicht, die Wirksamkeit «komplementärmedizinischer» Verfahren kritisch zu prüfen, sondern zu demonstrieren, dass solche Verfahren wirken - es sollen «Brücken zwischen Schul- und Komplementärmedizin» gebaut, diese zwei Bereiche integriert werden. Das klingt schön, bleibt aber Pseudowissenschaft.

Eine gute Seite hat dieser Pseudo-«peer review»-Prozess aber. So habe ich unlängst gelernt, dass Homöopathie mittels evidenzbasierter Verfahren nicht gemessen werden kann, weil Quantenphysik im Spiel ist (dass Quantenphysik empirisch besser als die meisten anderen naturwissenschaftlichen Theorien prüfbar ist, ist nicht so wichtig)! Eine Quanten-Verschränkung zwischen Patient, «Arzt» und Zuckerkügelchen - endlich ist alles klar.

6 Kommentare:

giordano hat gesagt…

Besten Dank für diese ausführliche Zusammenfassung. Ich habe noch zwei weitere, eher technische Anmerkungen:
1) Es wurde nicht nur klassifiziert, sondern es muss noch irgend ein Wert gemessen worden sein, das ordinal oder kontinuierlich skaliert war. Ansonsten wie hätte man einen Wilcoxon-Mann-Withney-Test durchführen oder Rangsummenmittelwerte ermitteln können? Aus dem Text erschliesst es sich mir nicht, um welches Outcome es sich handelt.
2) Ich habe auf die Tabelle 2 den einseitigen Fisher's exact Test durchgeführt (2. Phase, Werte: 5-9-9-4). Dabei habe ich einen P-Wert von 0.087 erhalten. Im Artikel wird jedoch ein P-Wert von 0.53 angegeben. Der zweiseitige Test ergibt einen P-Wert von 0.13 (im Internet gibt es einige Seiten, wo man diesen Test durchführen kann). Diese tieferen P-Werte scheinen mir aufgrund der Werte plausibler und ich habe sie noch mit anderen Tools überprüft (R-Software). Das ändert zwar nichts in den anschliessenden Aussagen, aber, sollte ich richtig liegen, wurde der Fisher's exact Test nicht korrekt angewendet. Ich vermute, dass die Daten nicht in der richtigen Reihenfolge eingegeben wurden.
Grundsätzlich verstehe ich nicht, warum die Arzneimittelfindung studiert wird, wenn bisher der Nachweis der Homoöpathie bei Kranken nicht gelungen ist. Wäres es nicht angebrachter, die Frei-Studie zu wiederholen, um den positiven Ausgang zu bestätigen (oder gegebenenfalls nicht)? Mir ist aufgefallen, dass relativ gut durchgeführte Studien mit positiven Ausgang (wie z.B. die Frei-Studie) für die Homoöpathie nicht wiederholt werden, während methodisch schlecht durchgeführte Studien oder Studien mit minderer Evidenz (Beobachtungsstudien) wiederholt werden.

Marko Kovic hat gesagt…

Vielen Dank für die Bemerkungen! Das sind zwei Punkte, welche ich gar nicht gross beachtet hatte.

Zu 1)
Ehrlich gesagt kannte ich diesen «U-Test» noch gar nicht und habe mich nicht gross darum gekümmert. Aber wenn die Variable ordinalskaliert oder metrisch sein muss, ist wirklich nicht ganz klar, was für eine Variable die Autoren genommen haben. Ich glaube, eine mögliche Antwort ist auf Seite 170 vorhanden: «The difference between the two treatment assessments was coded with –1(negative treatment recognition), 0 (same assessment in both groups) and +1 (positive treatment recognition), resulting in a 2×3 table.». So gesehen würde die Variable mit Ausprägungen -1, 0, 1 als ordinal- oder intervallskaliert gelten (obwohl es sich, dem Sinn nach, um eine nominalskalierte Variable handelt). Gemäss der Beschreibung des Vorgehens hatte der Homöopath nach Phase 2 und 3 die Tagebücher ausgewertet. Wenn ihm die Tagebücher z.B. nicht in Handschrift vorgelegt wurden, er also bei Phase 3 nicht wissen konnte, welche Tagebücher zu jenen aus Phase 2 gehören, kann die Kategorie 0 (same assessment) Sinn machen.

Hier sehe ich aber zwei Gefahren: «Symptom» meint in der Homöopathie ja mehr oder weniger alles. Wenn also Individuen eine Vielzahl ganz spezifischer Merkmale über sich aufschreiben, also sehr individuelle, sehr «einzigartige» Informationen preisgeben, kann ich mir vorstellen, dass es möglich ist, anhand dieser «Symptome» das Tagebuch nach Phase 2 jenem nach Phase 3 zuzuordnen.
Der vielleicht wichtigere Punkt ist aber: Die Probanden wussten ja, dass sie in der einen Phase ein Placebo, in der anderen die Globuli schlucken. Also besteht die Gefahr, dass die Probanden für die eine Phase mehr «Symptome» notieren, ganz einfach weil sie wissen, dass in einer Phase mehr Symptome auftreten sollten (dazu kommt noch der Interessenkonflikt der Probanden).

Mein Fazit zu Punkt 1) wäre: Die passende Variable für den «U-Test» haben die Autoren hergestellt, das Ganze macht aber trotzdem wenig Sinn.

Zu 2)
Auch den Punkt mit dem «Fisher's exact test» habe ich einfach hingenommen. Da hast du wieder Recht: Irgendwie scheinen die Berechnungen der Autoren verkehrt oder fehlerhaft. Ich habe es zudem nicht geschafft, den genauen Wert, welchen die Autoren angeben (p=0.53) mit den Daten aus Tabelle 2 zu replizieren (ich komme auf p=0.55, wenn ich die Daten verkehrt eingebe, also so, wie du nachvollziehbar vermutest, dass es die Autoren gemacht haben); irgendwo muss etwas schief gelaufen sein, oder die Autoren geben nicht genau an, was für Werte sie für die Berechnung nahmen.


Nochmals Danke für diese wichtigen Ergänzungen.

P.S. Hier noch der Link auf die Frei-Studie.

giordano hat gesagt…

Hier ist wieder ein Versuch, die Unwirksamkeit von Homöopathie zu verschleiern:
Versorgungsmedizin und cognition based medicin. Mit Versorgungsmedizin wird der Patient so lange unterhalten und mit Globuli behandelt, bis er wieder gesund ist und das wird dann der Homöopathie zugeschrieben. Mit CBM wird der Einzelfall (welcher wohl?) höher bewertet als die Erkenntnisse aus der EBM.
http://www.dzvhae.com/portal/loader.php?navigation=77710&org=76410&seite=78557&PHPSESSID=0c89fde4d26c5a7b973a8b17808d33ae
http://de.wikipedia.org/wiki/Cognition_based_Medicine

Marko Kovic hat gesagt…

Merci für die Links!

Ah, die typischen «special pleading»-Ansätze. Die ganz einfache Frage nach einer vorhandenen oder nicht-vorhandenen Wirkung der Behandlung wird so mehr oder weniger elegant umgangen.

Begriffe wie «Cognition based medicine» und «Kasuistik» klingen durchaus beeindruckend; insbesondere der Verweis, «Fallserien» könnten Aussagen über ein «Patientenkollektiv» erlauben, ist interessant - 10 anekdotische Einzelfallstudien und die Ergebnisse lassen sich verallgemeinern. Genial!

Unter Anwendung dieser «alternativen» Methode wäre Skorbut zwar immer noch eine unheilbare Krankheit, aber die «Therapie» wäre ja so schön individualisiert.

Sarkasmus beiseite: Einzelfalluntersuchungen sind ja durchaus auch in evidenzbasierter Medizin relevant, aber eher am Anfang des Forschungsprozesses, als Input für weitere, systematischere Untersuchungen. Dass Teile der «Komplementärmedizin» mit dem fast dreisten Vorhaben, sich die Regeln so lange zurechtzubiegen, bis die Ergebnisse im Sinne der «Komplementärmedizin» ausfallen, so erfolgreich sind, erstaunt immer wieder aufs Neue.

giordano hat gesagt…

Hier noch als Ergänzung die Aussagen von Professorin Claudia Witt:

"In der renommierten Berliner Charité gibt es Deutschlands einzige Professur für Komplementärmedizin. Dort forscht die Professorin Claudia Witt. Sie hat sich besonders intensiv mit der Studienlage zur Homöopathie beschäftigt. Und eins geht aus den wissenschaftlichen Studien ganz klar hervor, sagt sie. Homöopathie wirkt: ´Wenn man beobachtet, wie es den Patienten im Verlauf der Behandlung geht, sieht man deutliche Verbesserungen. Man sieht auch, wenn man homöopathische Behandlungen mit schulmedizinischen Behandlungen vergleicht, das ist für einen kleinen Teil der Behandlungen geschehen – dass die homöopathische Behandlung fast ähnlich gut abschneidet.´"

Um dann zu sagen:

"Da ist es natürlich naheliegend, nachzuschauen, ob homöopathische Mittel wirksamer sind als Placebos. Das ist in über hundert Studien gemacht worden. Und das Ergebnis ist ungeheuer heterogen. Man hat positive Studien, man hat negative Studien – die Qualität der Studien ist insgesamt nicht sehr hoch. Und wenn man das zusammenfasst, kann man eigentlich sagen, dass es bis heute nicht nachgewiesen ist, dass homöopathische Arzneimittel wirksamer sind, als ein Placebo."

aus:
http://www.swr.de/odysso/-/id=1046894/nid=1046894/did=6881658/1t442ba/index.html

Üblicherweise diskutiert man die Effekte eines Medikaments unter Berücksichtigung des Placeboeffekts. Professorin Witt behauptet, Homöopathie wirkt, um dann zu sagen, dass es sich um ein Placeboeffekt handelt.

Marko Kovic hat gesagt…

Danke für den Hinweis!

An diesem Beispiel lässt sich bestens ablesen, warum Homöopathie Pseudowissenschaft ist: Der zentrale Glaubenssatz, dass Homöopathie wirkt, ist unumstösslich; wissenschaftliche Ergebnisse werden entweder geleugnet, ignoriert oder unwissenschaftlich umgedeutet. Zur Not kann dann immer noch der Rückgriff auf die verborgenen Energien dienen, um unbelehrbare Kritikerinnen und Kritiker zu belehren.

Kommentar veröffentlichen