18. Oktober 2011

Die ganze Welt liebt die Schweiz!

20minuten berichtete am 14. Oktober über eine Studie, welche angeblich zeigt, dass kein anderes Land positivere Emotionen weckt als die Schweiz:
 
So weit, so gut: Ein erfreuliches Ergebnis. Es lohnt sich aber, einen genaueren Blick in die zitierte Studie zu werfen, vor allem aus einem Grund: Wenn Berichterstattung wie die obige allzu euphorisch ausfällt, ist nicht unüblich, dass ob der ganzen Freude und Begeisterung der kritische Blick wegfällt - wer sich selber mit einer «Feel good»-Story gehörig auf die Schulter klopft, will schliesslich kein Spielverderber sein.

Die besagte Studie wurde von dem «Reputation Institute» durchgeführt, einer (im Wesentlichen) grossen Marketingfirma. Bereits dies gibt zu denken: Private Unternehmen wie das «Reputation Institute» sind nicht Teil der akademischen Forschung - Studien wie eben diese des «Reputation Institute» durchlaufen nicht den Weg des kritischen Peer Reviews, sondern werden direkt als PR-Meldung vertrieben.
Eines muss also im Voraus klar sein: Der Sinn der im 20minuten-Artikel thematisierten Studie des «Reputation Institute» ist in erster Linie, Werbung für das «Reputation Institute» zu machen.

Die Studie mit dem Titel «2011 Country RepTrak™ Topline Report» ist nach einer kostenlosen Registrierung auf der «Reputation Institute»-Seite herunterladbar; der Einfachheit halber habe ich die Studie hier zum Download bereitgestellt.

Ein kurzer Blick in dieses Dokument genügt aber, um festzustellen, dass es sich dabei nicht wirklich um eine vollständige Studie handelt, sondern eher um einige zusammengefasste Ergebnisse - Intransparenz des genauen Vorgehens ist bei privaten ausser-universitären Forschungseinrichtungen ein typisches Problem.

Im weiteren möchte ich 2 Punkte ansprechen:
  • Ungenauigkeiten im 20Minuten-Artikel
  • Schwächen der Reputations-Studie selber

Ungenauigkeiten des 20Minuten-Artikels
Die erste ugenaue Angabe betrifft die Stichprobe der Menschen, welche für die Studie befragt wurden. Auf der Titelseite schreibt 20Minuten «Die Schweiz ist das Höchste der Gefühle: Sie löste in einer Umfrage unter 42000 Personen auf der ganzen Welt die positivsten Emotionen aus.», im Artikel anschliessend «Dies zeigt eine aktuelle Umfrage des Reputation Institute unter 42000 Personen auf dem ganzen Globus.».

Diese Aussagen implizieren, dass die befragten Menschen eine über die ganze Welt gleichmässig verteilte Stichprobe darstellen. In Tat und Wahrheit wurden 42'000 Menschen (eine zugegebenermassen traumhafte Stichprobengrösse) aus nur 8 Staaten, den sogenannten G8-Staaten, befragt (S. 12):
Weiter fällt auf, dass der 20Minuten-Artikel etwas inkonsistente Aussagen macht: Zunächst wird verkündet, die Schweiz wecke «die positivsten Gefühle», um gegen Ende des Artikels zu bemerken: «Insgesamt erreichte die Schweiz deshalb ‹nur› den viertbesten Ruf aller Länder.». Was sind nun die genauen Ergebnisse der Studie?

Die Befragung misst die Einschätzung der Befragten zu drei Dimensionen: «Advanced Economy», «Appealing Environment» und «Effective Government», welche das Konzept «Reputation» bilden (S. 9):
Die Ergebnisse für diese drei Dimensionen sind auf Seite 15 dargestellt:
Die Schweiz «gewinnt» in der Kategorie «Effective Government», ist bei den anderen zwei Dimensionen immerhin stets unter den Top 5. Was meint 20Minuten, wenn geschrieben wird, die Schweiz sei insgesamt nur auf Platz 4? Dies bezieht sich auf weniger spezifische Fragen, dargestellt auf Seite 14:
Dies sind noch nicht alle Ergebnisse: Es wurde nach «supportive behaviour» gefragt; d.h., wo die Befragten am ehesten bestimmte Handlungen ausüben würden («visit», «invest», «live», «buy», «work», «study»; S. 19f.):
Die Schweiz «gewinnt» bei «investieren» und «kaufen», ist aber in allen Kategorien nahe an der Spitze.

Abschliessend lässt sich also festhalten, dass die Aussage des 20Minuten-Artikels, kein Staat wecke positivere Gefühle als die Schweiz, unzulässig ist: Je nach Thema bzw. Befragungsart wecken unterschiedliche Staaten die positivsten Gefühle (alle Fragen messen lediglich subjektive Einschätzungen, also Gefühle).

Schwächen der Studie
Auf Seite 10 wird die theoretische Überlegung zur Bedeutung von Reputation für Staaten beschrieben:
Das Modell ist auf den ersten Blick an und für sich durchaus plausibel, wenn auch auf eine önonomische Sichtweise begrenzt: Bestimmte Mechanismen führen mehr oder weniger zu Reputation; ein Mehr an Reputation bedeutet ein Mehr an potentiellen Investitionen für Staaten.

Auf Seite 18 werden die Befunde zu dieser Hypothese genannt:
Hier interessiert zunächst der Punkt 2: Es wurde gemessen, dass für die 50 Staaten, für welche die Reputation erhoben wurde, eine Zunahme der Reputation um 10% zu einer 11%-igen Einnahmesteigerung im Tourismus und einer 2%-igen Steigerung der ausländischen Direktinvestitionen führt.

Einerseits ist hier das grundsätzliche Problem, dass keine detaillierten Ergebnisse präsentiert werden, also schwer einzuschätzen ist, wie gut die Messung ist. Aber abgesehen davon klafft eine grosse Lücke: Wie soll Reputation auf dem Mikrolevel (Individuum) zu Mehreinnahmen auf dem Makrolevel (Staaten) führen? Diese Frage ist nicht trivial: Die Untersuchung und Erklärung der (allfälligen) Beziehungen zwischen Handlungen auf der Mikro-, Meso- und Makro-Ebene ist vielleicht der eigentliche Kern aller Sozialwissenschaften.

Der Schluss der Autoren, es handle sich um eine direkte kausale Beziehung, ist nicht gerechtfertigt: Korrelation bedeutet nicht automatisch Kausalität. Wäre es z.B. denkbar, dass die Kausalität in umgekehrter Richtung verläuft, dass also Reputation als Folge von Investitionen unterschiedlicher Art steigt?

Punkt 1 auf Seite 18 beschreibt, dass ein starker Zusammenhang zwischen der Reputation eines Staates und der Willigkeit der Befragten, in diesen Staaten bestimmte Handlungen auszuüben, besteht. Auf Seite 17 werden diese starken Zusammenhänge dargestellt:
Das Problem ist hier theoretischer Natur. Es drängt sich die unbedingte Frage auf, ob diese praktisch identischen und sehr hohen Korrelationen nicht einfach bedeuten, dass Variablen verglichen werden, welche letztlich alle zum selben Konzept gehören.

Das meint ganz einfach, dass die Korrelationen zwischen Reputation und den «supportive behaviours»-Variablen derart hoch ausfallen, weil die «supportive behaviours»-Variablen schlicht Dasselbe abfragen wie «Reputation» - nämlich die Einstellung gegenüber bestimmten Staaten.
Dass dem so ist, scheint mir offensichlich: Es wird nicht gemessen, ob die Befragten tatsächlich selber die «supportive behaviours» ausüben, sondern nur, was ihre Einstellung zu diesen für die betroffenen Staaten ist.

Die Studie suggeriert, dass diese «supportive behaviours» der «Missing Link» zwischen Reputation der Staaten auf der einen, Investitionen in diesen Staaten auf der anderen Seite sind. In Tat und Wahrheit ist die Messung der «supportive behaviours» als separate Variablen wenig mehr als Vernebelungstaktik, um die Ergebnisse der Studie aussagekräftiger erscheinen zu lassen als sie es wirklich sind.

Fazit
Dies ist wieder einer jener Blogeinträge: Kleinlich und langweilig. Niemand behauptet, mit Toten zu sprechen, niemand verkauft krebsheilende Wundermittel, niemand verbrennt angebliche Hexen.

Und gerade darum ist Kritik nötig: Wenn alles den Anschein unproblematischer Forschung hat, werden wunde Punkte eher übersehen. Einerseits ist unsaubere Berichterstattung wie im 20Minuten-Artikel unabhängig vom Thema ein Problem.
Andererseits zeigt die Studie, welche dem 20Minuten-Artikel zugrunde liegt, warum vor allem sozialwissenschaftliche Forschung «im stillen Kämmerlein» in der Regel unbrauchbar ist: Wo fast völlige Intransparenz herrscht, verwundert es nicht, dass die Studienergebnisse fast immer den Interessen der Studienautoren bzw. -auftraggeber zum Vorteil gereichen.

Oder, salopp ausgedrückt: Wenn niemand da ist, um auf die Finger zu klopfen, wird gerne zurechtgebogen, was nicht passt.

1 Kommentare:

Jonas hat gesagt…

Hey Marko,
sehr guter Beitrag, sehr gute Kritik! Danke :)
Jonas

Kommentar veröffentlichen