20. Mai 2010

«Repräsentativität» von Studien: Fallbeispiel 20Minuten

Vor Kurzem bin ich auf folgenden Artikel in der Gratiszeitung «20Minuten» gestossen:
Schweiz ist für Velodiebe ein Paradies.
Das klingt interessant. Darum habe ich die Studie im Original angeschaut und möchte ein kleines grosses Problem ansprechen, welches mir auffiel: Die Frage der «Repräsentativität» von Studien und der Umgang von Medien einerseits, Wissenschaft andererseits mit diesem Kriterium.

Die Aussage des «20Minuten»-Artikels ist unmissverständlich:
Die Schweizer sichern ihre Fahrräder nur ungenügend: Zu diesem Schluss kommt eine repräsentative Studie der ETH-Zürich und der Universität St. Gallen.
Will heissen: Es gibt eine Studie, in welcher eine Stichprobe der Bevölkerung der Schweiz untersucht wurde. Diese Stichprobe ist so gewählt, dass die Resultate für die Grundgesamtheit, also die ganze Bevölkerung der Schweiz, verallgemeinbar sind. Dem ist aber nicht so.

Der Begriff «repräsentativ» wird, im Zusammenhang mit Stichprobenziehung, bisweilen auf zwei Arten gedeutet:
  1. Die Stichprobe ist bewusst derart gestaltet, dass die Mengenverhältnisse bestimmter Merkmale der erfassten Untersuchungseinheiten der Verteilung dieser Merkmale in der Grundgesamtheit entsprechen.
  2. Die Wahrscheinlichkeit, in die Stichprobe einbezogen zu werden, ist für alle Untersuchungseinheiten der Grundgesamtheit gleich hoch.
Die erste Lesart meint eine Quotenstichprobe, die zweite eine Zufallsstichprobe. Die Studie, welche im genannten Artikel aus «20Minuten» thematisiert wird, erfüllt die Kriterien für beide Auffassungen von «Repräsentativität» nicht und erhebt prinzipiell keinen Anspruch darauf.
Es handelt sich um die Studie «Gefahren und Risikofaktoren beim Fahrradfahren in der Schweiz», welche von der «Baloise»-Versicherung in Auftrag gegeben wurde. Die Studie wurde mir von «Baloise» auf Anfrage freundlicherweise zur Verfügung gestellt. Da die Studie noch nicht online verfügbar ist, habe ich sie zum Download bereitgestellt: Downloadlink Fahrradstudie.

Auf Seiten 8 bis 11 wird das Design der Studie erklärt.
Die Stichprobe umfasst 1002 Personen, und zwar nur aus den deutsch- und französischsprachigen Kantonen der Schweiz. Das Tessin wird also bewusst ausgelassen, Repräsentativität ist explizit nicht gegeben.
Im Weiteren bildeten Haushalte die relevanten Erhebungseinheiten: Pro Haushalt wurde eine Person befragt. Dabei war entscheidend, dass in betroffenem Haushalt mindestens ein Fahrrad vorhanden ist - dies bedeutet aber nicht, dass die befragte Person selber Fahrrad fährt. Somit ist die Aussage 
Eine neue ETH-Studie beweist: Zwei Drittel der Schweizer Velofahrer waren schon von Diebstahl und Vandalismus betroffen.
aus dem «20Minuten»-Artikel ungültig.
Die Befragung wurde mittels Online-Umfrage durchgeführt - ein weiterer Grund, warum keine Represäntativität gegeben ist. Ein Teil der schweizer Bevölkerung ist nämlich nach wie vor «offline» (Quelle: Bundesamt für Statistik):
Die Studie ist also nicht repräsentativ. Warum also hat «20Minuten» falsch berichtet? Eine spontane Vermutung wäre, dass die Verwertung der Studie als PR-Mitteilung zu Fehlern führt. Doch ein Blick in die Medienmitteilung zu der Studie widerspricht dem (Quelle: baloise.ch):
Dies bestätigt auch die Basler-Sicherheitsstudie: 40 Prozent der Befragten tragen den Helm fast immer und 48 Prozent messen dem Helm die höchste Schutzwirkung hinsichtlich der Vermeidung und Reduzierung von Verkehrsunfällen bei.
Die Rede ist ausdrücklich von «Befragten»; es wird kein Anspruch auf Repräsentativität erhoben. Wo könnte sonst die Fehlerquelle liegen? Leider in der Studie selbst. Auf Seite 9 der Studie wird folgende verwirrende Aussage gemacht:
Die Stichprobe der Online-Umfrage in der Schweiz ist hinsichtlich Alter und Geschlecht repräsentativ für die Gruppe der Internetnutzer in der Bevölkerung.
Zunächst gilt es, zu überprüfen, ob diese Angabe den Tatsachen entspricht. Hier die auf Seite 9 angegebene Verteilung der Befragten in der Studie:
Und hier die Angaben zur Internetnutzung in der Schweiz nach dem Alter (Quelle: Bundesamt für Statistik)
und die Verteilung des Merkmals Alter in der Bevölkerung (Quelle: Bundesamt für Statistik)
Hier noch die Internetnutzung, gemessen für das Geschlecht (Quelle: Bundesamt für Statistik):
Obwohl der Vergleich zwischen den Stichproben-Angaben der Studie und den drei Abbildungen nur eine Schätzung ermöglicht, kann davon ausgegangen werden, dass das Kritierium der Represäntativität der Internetnutzerschaft für die Merkmale Alter und Geschlecht im Sinne einer Quotenstichprobe annähernd erfüllt ist.

Es ist aber irreführend, eine derart selektive Quotenrepräsentativität zu konstruieren.
Wie oben festgehalten, ist der Kanton Tessin aus der Stichprobe ausgeschlossen. Wenn also a priori ein Teil der Grundgesamtheit (in diesem Kontext: Der Internetbenutzerinnen und -benutzer in der Schweiz) ausgeschlossen wird, ist es sinnlos, aus dem nicht-repräsentativen Rest, welcher potentiell Teil der Stichprobe sein kann, eine vermeintlich repräsentative Quotenstichprobe zu konstruieren. Zudem ist es vollkommen willkürlich, nur Alter und Geschlecht in die Quote einfliessen zu lassen; ebenso gut könnten andere Variablen wie Einkommen, Bildungshintergrund usf. beachtet werden.

Was ich in diesem längeren Beitrag darzustellen versucht habe, ist Folgendes:
Die Zeitung «20Minuten» hat über die Ergebnisse einer Studie berichtet, und zwar mit der Betonung, es handle sich um eine repräsentative Erhebung. In Tat und Wahrheit ist die Stichprobe, welche in für die Studie erhoben wurde, nicht repräsentativ. In der Studie selber wird der Begriff «Repräsentativität» problematisch gehandhabt.
Letztlich heisst das: Heikle Punkte einer wissenschaftlichen Arbeit wurden in massenmedialer Berichterstattung «glattgebügelt». Dabei trifft womöglich weder die Autorinnen und Autoren der Studie noch den Verfasser des Zeitungsartikels über diese Studie explizit Schuld: Vielleicht ist dieses kleine Beispiel Symptom für ein allgemeineres Problem, und zwar für die (kommunikativen) Barrieren zwischen Wissenschaft und Öffentlichkeit.

0 Kommentare:

Kommentar veröffentlichen