9. Februar 2012

Sind die PISA-Studien Pseudowissenschaft?

NZZ-Online hat am 29. Januar einen lesenswerten Artikel zu den berühmten «PISA»-Studien veröffentlicht:
Der Autor des Artikels, der Mathematik-Didaktik-Professor Thomas Jahnke, kritisiert die PISA-Studien heftig: Es handle sich bei diesen Messungen um ein privatwirtschaftliches Projekt, welches sich im Mantel der Wissenschaftlichkeit kleidet, in Tat und Wahrheit den wissenschaftlichen Diskurs aber meidet.

Ist die Kritik an den PISA-Studien berechtigt?

Die OECD
Es kann nicht schaden, zunächst ein paar Worte über die Trägerorganisation der PISA-Studien zu verlieren.
OECD steht für «Organisation for Economic Co-operation and Development», zu deutsch «Organisation für wirtschaftliche Zusammenarbeit und Entwicklung». Diese Organisation ist ein Beispiel für eine sogenannte «IGO», eine «intergovernmental organization», sprich eine zwischenstaatliche Organisation (besser bekannt ist vielleicht der Begrif der Nicht-Regierungs-Organisation, oder «NGO», bei denen nicht Staaten sondern private Akteure Mitglieder sind; NGOs sind gewissermassen das Gegenteil der IGOs).

Die OECD, welche zurzeit 34 Mitgliedsstaaten zählt, beschreibt ihren Zweck wie folgt:
The mission of the Organisation for Economic Co-operation and Development (OECD) is to promote policies that will improve the economic and social well-being of people around the world.
Das klingt nach einer Art Einrichtung für Entwicklungshilfe, beschreibt den eigentlichen Zweck der OECD aber ungenau. Die OECD wird bisweilen als «Club der reichen Staaten» bezeichnet, der in erster Linie die wirtschaftlichen Interessen der Clubmitglieder wahren will. Das Verfolgen einer bestimmten Wirtschaftspolitik ist an sich weder inhärent «gut» noch «schlecht», und zwischenstaatliche Kooperation ist oft eine bessere Lösung als die gänzliche Abwesenheit handlungskoordinierender Normen auf internationaler Ebene.

Die OECD kann Staaten Gesetze nicht aufzwingen, sondern operiert eher wie ein gigantischer «Think Tank»: Es werden einerseits empirische Daten gesammelt und ausgewertet, und andererseits werden diese in Form von «Empfehlungen» Regierungen zur Umsetzung vorgeschlagen. Die OECD beschreibt die eigene Vorgehensweise in folgender Grafik (Quelle):
Think Tanks, so auch die OECD, können grundsätzlich seriöse Arbeit betreiben, ein Punkt ist dabei aber zentral: Think Tanks sind im Kern anti-demokratisch. Das mag überrissen klingen, ist aber eine Konsequenz grundlegender Anforderungen an Demokratie.

Ein Think Tank ist eine private Organisation (der Form nach auch privat, wenn von öffentlichen Geldern finanziert, wie eben die OECD), welche private, also intransparente Forschung betreibt und sich zum Zwecke der politischen Umsetzung dieser Forschungsergebnisse direkt an politische Eliten wendet. Think Tanks sind aber keine richtigen Forschungsstätten im Sinne von Universitäten: Ein Think Tank hat stets politische, sprich ideologische, Ziele, und der Sinn des Think Tanks ist es, diese im Voraus definierten Ziele umzusetzen. Forschung wird oft nur dazu genutzt, die eigenen Forderungen glaubwürdig erscheinen zu lassen. Kurz gesagt: Think Tanks sind Lobbygruppen.
Im Falle der OECD werden direkt Regierungen angesprochen, unter totaler Umgehung demokratischer Prozesse - genauer, unter Umgehung öffentlicher Diskurse.

Wo keine Öffentlichkeit ist, ist auch keine Demokratie. Weil der Sinn von Think Tanks genau darin besteht, die Öffentlichkeit und offenen, kritischen Diskurs zu umgehen und stattdessen politische Schlüsselakteure zu beeinflussen, sind Think Tanks fundamental anti-demokratisch.
Das muss nicht bedeuten, dass Think Tanks nie gute Ideen liefern können. Demokratie bedeutet aber, dass politische Entscheide stets auf den demokratischen Souverän rückzubinden sind (auf das Kollektiv der souveränen Individuen); wird diese demokratie-theoretische Minimalforderung explizit umgangen, wird entsprechend anti-demokratisch gehandelt.

Dieser Aspekt ist auch im NZZ-Artikel zu den PISA-Studien zentral: Der Autor kritisiert, der Umgang mit den Daten der PISA-Erhebungen sei fast gänzlich intransparent und entziehe sich jeder kritischen Diskussion. Auf die PISA-Studien gehe ich im nächsten Abschnitt genauer ein.

Die PISA-Studien
Die PISA-Prüfungen testen drei Kompetenzbereiche: Lesen, Mathematik, Naturwissenschaft. Schon diese Auswahl verdeutlicht, dass PISA in keiner Art die Gesamtheit der schulischen Bildung misst. Die PISA-Verantwortlichen sind sich dessen aber durchaus bewusst, wie z.B. auf der schweizer PISA-Seite einzusehen ist:
Die PISA-Tests haben gemäss der OECD folgendes Ziel:
PISA (Programme for International Student Assessment) is an international study which began in the year 2000. It aims to evaluate education systems worldwide by testing the skills and knowledge of 15-year-old students in participating countries/economies. Since the year 2000 over 70 countries and economies have participated in PISA.
Dieses Ziel ist sehr ambitioniert: Mittels quantitativer, also hoch standardisierter Messungen der Leistungen 15-Jähriger sollen die jeweiligen staatlichen Bildungssysteme «evaluiert» werden. Konkret sollen die Ergebnisse der PISA-Tests die Qualität der betroffenen Bildungssysteme aufzeigen: Besseres Abschneiden bei PISA bedeutet demnach ein besseres Bildungssystem. An diesem Vorhaben ist grundsätzlich nichts auszusetzen: Staatliche Bildungssysteme und deren «Output» in Form von Schülerinnen und Schülern sind offensichtlich empirische Phänomene, und es ist durchaus spannend, der Frage nachzugehen, was für Bildungssysteme warum und wie erfolgreicher oder weniger erfolgreich sind (wenn «Erfolg» als empirisch erfassbare Variable definiert wird, etwa als bestimmtes Fakten- und Methodenwissen, wie dies PISA macht).

Die konkreten Fragen der PISA-Tests bleiben geheim, und zwar mit folgender Begründung (Quelle):
Die OECD stellt aber Beispielfragen als kostenlosen Download zur Verfügung. Anhand einiger Beispielfragen möchte ich illustrieren, wo mögliche und anzunehmende Probleme der tatsächlichen PISA-Testfragen liegen können. Zunächst gehört aber eine andere, wichtige Frage geklärt: Im vorherigen Abschnitt beschreibe ich die OECD als Think Tank mit bestimmter ideologischer Ausrichtung - sind die PISA-Tests letztlich nur ein Propaganda-Mittel der OECD?

Soweit ich das anhand der Beispielfragen beurteilen kann, ist die Antwort recht eindeutig nein. Eine bestimmte politische Position wird darin nicht propagiert, eher eine grundsätzlich pro-wissenschaftliche. Da die tatsächlich eingesetzten Fragen aber geheim sind, kann ich wenig mehr als spekulieren. Unverhohlene Politik-Propaganda über die PISA-Testfragen ist aber grundsätzlich eine nicht sonderlich plausible Hypothese; was die OECD damit bezwecken sollte, ist eher unklar.

Zurück zu den PISA-Beispielfragen. Ich widme mich vorrangig einigen Fragen (im Jargon korrekter: einigen «Items») aus dem «science»-Teil, da mir die Mathematik- sowie die Leseverständnis-Fragen weniger problematisch erscheinen. Was für alle drei Fragekategorien aber auffällig ist: Die Art der Fragestellungen unterscheidet sich bisweilen bei den drei Kategorien kaum. Wenn eine Frage sowohl im Mathematik-, als auch im Naturwissenschafts- wie auch im Lese-Teil vorkommen könnte, ist etwas nicht ganz in Ordnung - Frage-Items bei Fragebögen sollten eigentlich «disjunkt», also überschneidungsfrei sein, wenn damit unterschiedliche Konzepte gemessen werden solle.

Die Mathematik-Frage auf Seite 106 hat mich etwas verunsichert:
Ich habe doch grübeln müssen, was die Grafik genau darstellen soll, weil ich sie nicht verstanden habe. Des Rätsels Lösung: Die Y-Achse (Körpergrösse in cm) ist falsch beschriftet; nach «160» müsste «170» und nicht «190» kommen.
Das ist ein banaler Tippfehler, aber das ist genau das Problem, wenn die richtigen PISA-Fragen geheim bleiben: Ob und wenn ja, welche Fehler vorhanden sind, bleibt unklar.

Die Grafik zur Naturwissenschafts-Frage auf Seite 191 über Ignaz Semmelweis ist auch auffällig:
Auch diese Grafik ist nicht ganz korrekt beschriftet. Die X-Achse gibt Jahreszahlen an, die Y-Achse die Anzahl Todesfälle. Und dazwischen stehen unbeschriftete schwarze und graue Quadrate - eine Grafik müsste immer so beschriftet sein, dass unmissverständlich klar ist, was darin gezeigt wird. Auch der Text links von der Grafik klärt nicht abschliessend, worum es geht: Gezeigt werden sollen Daten für zwei Krankenhaus-Abteilungen. Welche Punkte aber welche Abteilung meinen, bleibt unerwähnt; ebenso, dass schwarz für die eine, grau für die andere Abteilung steht (was nur implizit aus dem Textzusammenhang hervorgeht).

Das eigentliche Problem ist aber die Frage 1.1, für welche folgende Antworten als richtig gewertet werden:
Wenn diese Aufgabe wissenschaftliches Denken testen will, dann versagt diese Aufgabe eindeutig. Gefragt wird, warum die Grafik gegen die Hypothese, Puerpuralfieber werde durch Erdbeben verursacht, spricht. Als richtige Antwort wird im Wesentlichen das Argument erwartet, die zwei Verläufe unterscheideten sich, darum sei eine kausale Wirkung von Erdbeben nicht möglich. Dieser Schluss geht in keiner Weise aus den vorhandenen Daten hervor.

Der Kausalmechanismus zwischen Erdbeben und Puerpuralfieber könnte potentiell indirekt verlaufen: Z.B., indem Erdbeben bestimmte Gase freilassen, welche bestimmten Bakterienpopulationen zugute kommen, und diese wiederum finden den Weg ins Grundwasser, und Krankenhäuser, welche mehr Wasser aus lokalen Quellen beziehen, sind stärker vom Bakterien-Befall betroffen; ein Krankenhaus in der Grafik könnte eher von kontaminiertem Grundwasser betroffen sein als das andere.

Das ist ein Fantasiemechanismus, welcher im Falle des Puerpuralfiebers nicht stimmt. Damit will ich aber demonstrieren, dass die einzig korrekte Antwort auf obige PISA-Frage ist: Die vorhandenen Daten genügen nicht, um die Erdbeben-Hypothese zu verwerfen. Dass PISA eine offenkundig unzulässige Argumentation erwartet, ist schwerwiegend.
Eine mögliche korrekte Frage für diese Grafik wäre: Die Nullhypothese ist, dass es keinen Zusammenhang zwischen Erdbeben und Puerpuralfieber gibt. Liefert die Grafik Daten, welche gegen diese Nullhypothese sprechen?

Eine ähnliche Problematik ist z.B. bei der Aufgabe zu Treibhausgasen zu beobachten:
 
Die von PISA angegebenen Antworten zu diesen Fragen sind folgende:
 
Hier wird ein grober Fehler begangen: PISA wertet als korrekt, wenn behauptet wird, Korrelation bedeute Kausalität. Wenn dies als Argument genügt, wird Klimawandel auch durch den Mangel an Piraten verursacht (Quelle):
Auch bei dieser Frage ist das Problem, dass, wer richtigerweise schreibt, die (grobe) Korrelation sei für sich genommen noch kein Hinweis für einen kausalen Zusammenhang, keine Punkte erhält. Es besteht zwar in der Tat ein kausaler Zusammenhang zwischen CO2-Menge und Temperatur, doch ist für dieses Faktenwissen weitaus mehr nötig als zwei Grafiken. PISA fragt hier also effektiv nach Wissen, welches nicht Teil der Aufgabe ist.

Eine andere Aufgabe, deren Logik diskutabel ist, ist jene zu körperlicher Ertüchtigung:
Hier wird Faktenwissen abgefragt. Auffällig ist die letzte Frage unter 11.1, wo beantwortet werden soll, ob körperliche Ertüchtigung helfe, Übergewicht vorzubeugen. Die PISA-Antwort ist «Ja»:
Aber ein einfaches Ja ist hier nicht wirklich korrekt. Es ist unklar, was mit «Übergewicht» genau gemeint ist. Körperfettanteil ab einem bestimmten Grenzwert? Ein bestimmter «Body mass index»-Wert?
Eine mögliche präzisierende Antwort wäre bei dieser Frage, dass körperliche Ertüchtigung zwar gemäss dem aktuellen Stand der Forschung stark gesundheitsfördernd ist, Körpergewicht aber primär über Kalorienzufuhr beeinflusst wird (Das Frage-Item impliziert, körperliche Ertüchtigung helfe immer, «Übergewicht» vorzubeugen. Der blosse Effekt des Kalorien-Verbrennens kann aber durch indirekte Mechanismen aufgehoben werden - wer z.B. olympische Langhanteln stemmt und eine Leistungssteigerung anstrebt, will in der Regel nicht unbedingt abnehmen. «Physical exercise» wird also implizit auf «Kalorien-Verbrennung» reduziert und die mögliche Definition als «Training» wird ausgeschlossen.).

Mit diesem sehr kleinen Exkurs zu konkreten PISA-Fragen (bzw. zu den öffentlich verfügbaren Beispielfragen) will ich aufzeigen, dass die PISA-Tests inhaltlich nicht über jeden Zweifel erhaben sind. Das wirft eine Grundsatzfrage auf: Haben die PISA-Tests eine genügend hohe Validität? Mit «Validität» ist gemeint, ob wirklich das gemessen wird, was gemessen werden soll. Die Kritik im NZZ-Artikel bezieht sich vor allem auf diese Problematik.

Kritik seitens der NZZ
Ein wesentlicher Punkt der Kritik im NZZ-Artikel betrifft die Frage der Validität der PISA-Tests, da diese nicht zwischen unterschiedlichen Lehrplänen differenzieren:
In Mathematik zum Beispiel wurde und wird «mathematische Grundbildung» getestet, wobei offen zugegeben wird, dass man sich dabei um Lehrpläne nicht schert: «Der Begriff Grundbildung wurde gewählt, um zu betonen, dass mathematische Kenntnisse und Fähigkeiten, wie sie im traditionellen Curriculum der Schulmathematik definiert werden, im Rahmen von Pisa nicht im Vordergrund stehen», erläutern Pisa-Verantwortliche. Wie, könnte man fragen, kann man die Leistungen von Schülerinnen und Schülern an Zielen messen, die sie gar nicht verfolgen?
Das ist ein schwerwiegendes Problem: PISA testet Dinge, welche nicht zwingend in staatlichen Lehrplänen vorkommen - heikel, weil PISA ja explizit schulisch erlerntes Wissen und angeeignete Fähigkeiten abrufen will.
Eine (beschränkt aussagekräftige) Anekdote dazu fällt mir aus meiner eigenen Schulzeit ein. Im Gymnasium hatte unser damaliger Jahrgang zwei Klassen. Im Physikunterricht entschied sich unsere Klasse in einem Semester, in Absprache mit dem Lehrer, Einsteins Relativitätstheorien zu behandeln, während die Parallelklasse vertieft auf das Thema Radioaktivität einging. Beides wichtige Themen, und aus Zeit- und Budgetgründen musste ein Thema gewählt werden. Wir hatten die Möglichkeit, unsere eigenen Interessen im Lehrplan einzubringen und waren im Unterricht motivierter - für derartige Überlegungen ist in PISA kein Platz.

Da PISA nicht auf Lehrpläne eingeht, sondern standardisiert testet, passiert ein nicht unwesentlicher Schritt: PISA impliziert, dass die darin genutzten Aufgaben die «wahren», die «richtigen» und wichtigen Lerninhalte sind. Das ergibt sich aus der Logik der PISA-Tests. Wie oben zitiert, hat PISA zum Ziel, unterschiedliche Bildungssysteme zu beurteilen. Somit ist der Gradmesser für Qualität des Bildungssystems das Abschneiden bei PISA; damit postuliert die OECD, dass mit PISA ein universales Mass für Qualität von Bildungssystemen vorliegt. Nur schon ein Blick in den vorherigen Abschnitt, wo ich einige PISA-Beispielaufgaben kritisiere, zeigt, dass das bestenfalls Wunschdenken ist.

Der NZZ-Artikel kritisiert die Validität der PISA-Tests weiter:
Ob höhere Werte bei Pisa tatsächlich für eine gehobenere Schulbildung sprechen, ist zudem fraglich. Wer bei Mehrfachwahlaufgaben zügig und plausibel rät, wird mit Punkten belohnt; wer über eine Aufgabe nachdenkt, ist im Nachteil. Schülerinnen und Schüler in der Schweiz, Österreich und Deutschland waren mit solchen Aufgaben bisher wenig vertraut; inzwischen ist ihre Testfähigkeit vermutlich gestiegen: Vom Wiegen wird die Sau nicht fetter, aber sie lernt, sich schwer zu machen.
Auch kritisiert wird im NZZ-Artikel die privatwirtschaftliche Motivation hinter den PISA-Studien:
Auftraggeber ist die OECD, die 34 Länder mit dem vorrangigen Ziel des «nachhaltigen Wirtschaftswachstums» vereinigt. Auftragnehmer sind fünf sogenannte transnationale Bildungsdienstleister – bei vier davon handelt es sich um private Unternehmen, die Pisa entwickelt und an 67 Staaten (Pisa 2012) verkauft haben. Dass diese Firmen wesentlich an ihrem eigenen Profit interessiert sind, kann man ihnen kaum vorwerfen – auch nicht die Wahrung von Betriebsgeheimnissen, obwohl das sicher Auswirkungen auf die von ihnen angebotenen Dienstleistungen und Produkte hat. Das Auftragsvolumen für einen internationalen Pisa-Durchgang liegt im dreistelligen Millionenbereich. Die Markterweiterung der Testindustrie auf die Schweiz, Österreich und Deutschland ist mit der Periodisierung der Pisa-Durchgänge im 3-Jahre-Rhythmus auch dauerhaft – zumindest bis 2015 – gelungen.
Die Mehrheit, also vier von fünf, der Auftragnehmer der PISA-Studien seien private Unternehmen. Diese, so der Artikel, haben das Produkt PISA diversen Staaten verkauft. Das Problem mit dieser Behauptung ist erneut die Intransparenz von PISA. Wer genau was zu welchem Preis macht, ist nur schwer ausfindig zu machen.

Dass es diese privaten Auftragnehmer überhaupt gibt, wird auf der PISA-Seite zu «Auftraggeber und Management» indirekt  erwähnt, und zwar unter dem Punkt «Der internationale Vertragspartner» (insofern damit überhaupt die interessierenden Auftragnehmer gemeint sind):
Für jede PISA-Studie ist ein internationaler Vertragspartner (normalerweise bestehend aus Test- und Beurteilungsagenturen) für den Entwurf und die Durchführung der Studie verantwortlich. Der Vertragspartner wird vom PISA-Verwaltungsrat auf Basis einer internationalen Ausschreibung bestimmt. Fragen an den internationalen Vertragspartner sollten zunächst an das OECD-Sekretariat gerichtet werden.
Um welche Vertragspartner es sich konkret handelt, bleibt wie so vieles bei PISA unklar. Genauere Angaben liefern Webseiten zu PISA in der Schweiz.

Die PISA-Tests werden in der Schweiz von öffentlichen Einrichtungen durchgeführt, unter Leitung des Bundesamtes für Statistik. Die Welle 2006 kostete insgesamt über 4 Millionen Franken (Quelle):
Weiter wird auf den Seiten des Bundesamtes für Statistik auch erwähnt, welche Organisationen im Konsortium hinter PISA stehen:
Die involvierten Organisationen sind:
Von diesen fünf Organisationen ist nur die letzte, das «NIER» in Japan, eine öffentliche Einrichtung, die restlichen vier sind privat - wie im NZZ-Artikel beschrieben. In Anbetracht dieses Umstandes ist die Schlussfolgerung der NZZ nicht abwegig:
Die privatwirtschaftliche Durchführung von Pisa entzieht dieses Programm weitgehend der wissenschaftlichen Diskussion und gibt seinen Betreibern eine Gestaltungs- und Deutungshoheit, die sich einem demokratischen und auch einem nationalen Diskurs entzieht.
Wenn wissenschaftliche Forschung privatisiert wird, aber der Anspruch erhoben wird, mit dieser privatisierten Forschung nach wie vor einen primär öffentlichen Nutzen zu generieren, ist grosse Vorsicht geboten. Damit will ich nicht behaupten, dass die involvierten Unternehmen schlecht oder unseriös arbeiten, aber ihre Motivation ist nicht öffentlicher Dienst, sondern privater Gewinn.

Der NZZ-Artikel spricht einen weiteren zentralen Punkt an:
Das Eigenartige der quantitativen empirischen Bildungsforschung ist, dass sie immer etwas hervorbringt; sie kann nicht leer ausgehen. Immer erhält sie Zahlen und damit Skalen, Intervalle, Ranglisten und, was der statistische Apparat folglich zur Verfügung stellt, Mittelwerte, Standardabweichungen, Korrelationen und so fort. Durch das Messen erhält man Daten – eigentlich sogar nur Zahlen, deren Realitätsgehalt (oder genauer Realitätsbeschreibungsvermögen) anscheinend ausser Frage steht und dem ganzen Prozess eine Art quasinaturwissenschaftlicher Dignität verleiht. Die Frage, ob man da tatsächlich etwas misst, was man dann untersuchen kann, stellt sich gar nicht, weil der Gegenstand durch den Messprozess selbst hervorgebracht und konstituiert wird. Solche Forschung produziert ihre Begriffe (heute sagt man «Konzepte») und Ergebnisse parthenogenetisch, notfalls auch ohne jede Anleihen bei der bemessenen Realität oder Bezügen zu ihr. Eine Widerlegung der Ergebnisse von gross angelegten Vergleichsuntersuchungen, dessen sind sich die Pisaner und die involvierten Firmen sicher, ist faktisch, wenn nicht sogar prinzipiell ausgeschlossen. Die Sache ist versiegelt. Und wo Kritik einmal nicht folgenlos abprallt, freut sich die Forschungsindustrie über Folgeaufträge, die dann in der beschriebenen Art bearbeitet werden.
Was hier beschrieben wird, ist der Fehlschluss der «Reifikation»: Hergestellte sozialwissenschaftliche Konzepte werden so behandelt, als seien sie real vorhandene Gegenstände. Wenn Sozial- und GeisteswissenschaftlerInnen mehr oder weniger konstante Muster statistischer Zusammenhänge zwischen bestimmten Variablen finden, wird allzu oft der Fehlschluss begangen, diese Muster als Ausdruck eines objektiv existierenden Phänomens zu behandeln, obwohl dieses Phänomen selber eben nur statistisches Konstrukt ist.
Reifikation ist auch einer der Gründe, warum ich IQ-Forschung als schlechte Wissenschaft kritisiere.

Weiterer Gegenstand der Kritik im NZZ-Artikel ist das methodische Vorgehen bei den PISA-Studien:
Der Genauigkeitsanspruch von Pisa wird von neutralen Expertinnen und Experten angezweifelt. Der im Umgang mit grossen, schlecht konditionierten Datenmengen vertraute Physiker Joachim Wuttke stellt fest: «Allein schon unterschiedliche Schülermotivation kann, amerikanischen Studien zufolge, mit 50 oder mehr Punkten durchschlagen.» 50 Punkte entsprechen einem Lernfortschritt von fast zwei Schuljahren. Wuttke: «In Seoul wird vor der Testung die Nationalhymne gesungen; in Hamburg geben die ersten Schüler nach fünf Minuten ab. Dazu kommen Uneinheitlichkeiten bei der Stichprobenziehung, bei den Teilnahmequoten und beim Ausschluss behinderter Schüler. Allein solche Faktoren können mehr als 10 Punkte ausmachen. Und damit ist noch gar nicht die Kernfrage angeschnitten: Kann man Schülerleistungen überhaupt auf einer eindimensionalen Skala messen? In einer kultur- und sprachübergreifenden fairen Art und Weise? Man kann nicht.» Wuttke kommt zu dem Schluss, dass Pisa ein teurer Zufallszahlengenerator ist. Sicher kann man das Dümpeln der Werte etwa der Schweiz oder einzelner Kantone in den Pisa-Durchgängen mit journalistischem oder bildungspolitischem Scharfsinn wortreich kommentieren, aber man sollte darüber nicht vergessen, dass die Werte jeweils von unterschiedlichen Schülern, mit unterschiedlichen Aufgaben und in Testungen mit unterschiedlichen Schwerpunkten generiert wurden und dass es sich – wenn man einmal die Spannweite üblicher Schulnoten zugrunde legt – meist um eine Interpretation im Hunderstelbereich handelt.
Mit den genaueren methodischen Verfahren habe ich mich nicht vertieft auseinandergesetzt. Einige Quellen, welche in dieser Hinsicht auf Probleme aufmerksam machen und weiterführende Literatur aufführen, sind z.B. die Texte «PISA & Co. A Critical Online Bibliography», «Kritik an den PISA-Studien», «PISA according to PISA».


Fazit
Im Titel dieses Blogeintrags stelle ich die Frage, ob die PISA-Studien Pseudowissenschaft sind. Die Antwort darauf ist: Nein; was PISA macht, ist im Grunde unproblematisch. Die PISA-Tests leiden aber an wesentlichen Mängeln:
  • Es herrscht Intransparenz: Wie beispielsweise die konkreten PISA-Testfragen ausfallen, ist nicht bekannt. Die Qualität der offen zugänglichen Beispielfragen ist nicht überzeugend.
  • Die PISA-Tests sind ein Produkt gewinnorientierter Unternehmen, für welche mit Steuergeld gezahlt wird. Es ist in diesem Fall fraglich, ob eine Auslagerung der Dienstleisung auf Private dem öffentlichen Interesse dienlich ist.
  • Die PISA-Tests nehmen keinen Bezug auf Lehrpläne, sondern behaupten einen Universal-Standard für «richtige» Bildungsinhalte bei 15-Jährigen. Die Güte dieses Universal-Standards ist nicht gegeben.
Es wäre falsch, wenn ich abschliessend behauptete, die PISA-Tests gehörten einfach abgeschafft; ich kenne PISA auch jetzt noch nur oberflächlich, und über Didaktik weiss ich kaum etwas. Aber auch schon eine oberflächliche Betrachtung von PISA fördert zu Tage, dass mit PISA gravierende Probleme einhergehen. Eine kritische öffentliche Diskussion über dieses stillschweigend von uns allen gedultete Projekt, welches Millionen kostet, ist längst überfällig.

1 Kommentare:

raskalnikow hat gesagt…

Sehr schöner Artikel, danke! Ich war nach Erscheinen des NZZ-Artikels wirklich überrascht, dass PISA ein derart intransparentes Unternehmen ist. Von Mängeln in der Testgestaltung (genial wie du konkrete Fragen zitierst!) hatte ich auch gehört - auch schwerwiegenderes wie Mehrdeutigkeiten und Inkongruenz von angegebener Frageintention/tatsächlich getestete Fähigkeit. Oder dass überhaupt eigentlich die "Testfähigkeit" der Schüler getestet wird als die eigentlichen Fähigkeiten. Auch die Sache, dass man verschiedene Bildungsziele über den angelsächsischen Kamm schert war vorher schon bekannt. Trotzdem fand ich dies alles verständliche und verbesserbare Fehler und das Unternehmen PISA insgesamt doch ein wichtiges Forschungsunternehmen. Mit dem NZZ-Artikel schlug meine Einstellung aber um: 1. Intransparenz und 2. gewinnorientierte Unternehmen... das sind nicht die Fundamente fruchtbarer und an Objektivität orientierter Forschung!
Wie du richtig feststellst: Pseudowissenschaftlich ist es nicht - wohl aber zu stark von Partikulärinteressen geleitet um wirklich eine wissenschaftliche Basis für politische Entscheidungsträger zu schaffen.

Noch ein Gedanke: Die von dir entdeckten Fehler in den Fragen/Grafiken könnten fruchtbar eingesetzt werden: Welche Schüler erkennen sie überhaupt? Welche Schülerinnen können pragmatisch/tolerant/exakt damit umgehen? Ein solcher Vergleich wäre auch interessant, nur müssten die "Fehler" dann auch intentional eingebaut werden - was sie offensichtlich nicht sind.

Kommentar veröffentlichen