Auch mit Bekanntem gut für Schlagzeilen

Seit dem 18. November liegen die Ergebnisse des PISA-Ländervergleichs von 2006 vor. Überraschendes hat der Bericht kaum geboten. Das hat jedoch niemanden davon abgehalten, die Ergebnisse der Studie widersinnig darzustellen oder wissenschaftliche Erkenntnisse mit bildungspolitischer Ideologie zu vermischen. Von Jochen Groß und Patrick Riordan

Die Bildungsstudie PISA zielt darauf ab, die Kompetenzen von 15-jährigen Schülern in den Bereichen Lesen, Mathematik sowie Naturwissenschaft international vergleichend zu erfassen. Da die Schullandschaft in Deutschland dank des Föderalismus länderspezifisch ist, hat die Kultusministerkonferenz vor der Durchführung der ersten PISA-Studie im Jahr 2000 beschlossen, die Studie auf nationaler Ebene so auszudehnen, dass auch ein innerdeutscher Vergleich der Bildungskompetenzen auf Landesebene möglich wird. In der dritten Auflage der Studie wurden dazu im Frühsommer 2006 etwa 40.000 Schüler aus 1300 Schulen getestet. Noch wichtiger als die Leistungstests sind für die Bildungsforschung die Befragungen von Schülern, Eltern und Schulleitern, mit denen man mögliche Einflussfaktoren auf die Bildungskompetenz der 15-Jährigen erhalten möchte.

Nur ein wenig Stühlerücken

Da aber Rankings leichter zugänglich sind als komplexe Zusammenhangsanalysen, beschränkt sich die Berichterstattung häufig auf die Länderrangliste – und hier gab es in diesem Jahr ein gefundenes Fressen für die Presse. Die dauerverwöhnten Bayern wurden von Sachsen in allen drei Kompetenzbereichen auf Platz 2 im Ländervergleich verwiesen. Zeit-Online titelte sogleich „Sachsen zieht Bayern die Lederhose aus“. Wer interessiert sich angesichts dieses Paukenschlags dafür, dass der Abstand zwischen Bayern und Sachsen in Bezug auf die Lese- und Mathematikkompetenz nur einen Punkt auf der Kompetenzskala aufweist? Zur Einordnung: Nach Angaben der die internationale Studie entwickelnden OECD entsprechen 30 Kompetenzpunkte in etwa dem Lernfortschritt eines Schuljahres. Das heißt also, dass dieser eine Kompetenzpunkt nicht einmal einen Monat Wissensfortschritt bedeuten würde. Hierauf eine Schlagzeile aufzubauen, erscheint schon deutlich weniger spektakulär.

Wer weiß, vielleicht hatten die Bayern aufgrund unterschiedlicher Ferienregelungen bis zum Messzeitpunkt einfach weniger Unterrichtsstunden, was bis zum Schuljahresende wieder ausgeglichen wird? Ganz abgesehen davon, ist eine derartige Rangfolgenbildung irreführend. Da nur ein kleiner Teil der deutschen Schülerschaft getestet wurde, sind alle im Bericht angegeben Kompetenzen Schätzwerte, welche einen gewissen Fehler aufweisen – entscheidend ist, ob sich die einzelnen Länder signifikant voneinander unterscheiden. Bei einem Punkt Differenz ist hiervon nicht auszugehen. Ergo: Man weiß nicht, ob Bayern real nicht doch die Nase leicht vorne hat. Statistisch lässt es sich jedenfalls nicht ausschließen.

Mittelwerte niemals ohne Streuung

Deshalb erscheint die Fokussierung auf dieses Stühlerücken müßig. Schwerer wiegt jedoch die stete Vernachlässigung der anderen Hälfte zentraler Informationen. Das Ranking beruht auf einem Vergleich von Mittelwerten von den in den Ländern jeweils getesteten Schülern. Mittelwerte weisen jedoch spezifische Eigenschaften auf – etwa, dass sie gerne von Ausreißern unverhältnismäßig nach oben oder unten gezogen werden. Deshalb ist zu den Mittelwerten jeweils die Streuung zu berücksichtigen, also ein Maß für die durchschnittliche Abweichung von den Kompetenzmittelwerten. Generell erscheint die Streuung und Differenzierung zwischen Schülern unterschiedlicher Kompetenzstufen und der Analyse von Einflussfaktoren hierauf entscheidend, denn es ist durchaus plausibel anzunehmen, dass sich etwa der Migrationshintergrund bei Schülern im niedrigen Kompetenzbereich anders auswirkt als bei Schülern im hohen Kompetenzbereich.

Zwar werden in der veröffentlichten Zusammenfassung keine Maßzahlen für die Streuung der Kompetenz in den drei Bereichen angegeben, aber an den entsprechenden Grafiken, den so genannten Perzentilbändern, lässt sie sich ungefähr ablesen. Beispielsweise sieht man, dass die Streuung der Kompetenzen in Bayern beim Lesen und in Mathematik größer ist als in Sachsen. In diesen Bereichen gibt es in Bayern also mehr sehr gute und sehr schlechte Schüler als in Sachsen. In den Naturwissenschaften sieht es etwas anders aus. Auch hier hat zwar Bayern die breitere Streuung, diesmal liegt es jedoch an der größeren Anzahl von Schülern mit niedriger Kompetenz. Dieser erste Eindruck müsste natürlich noch statistisch gegen den Zufall abgesichert werden.

Komplexe Daten – komplexe Ergebnisse

Es ist klar, dass die mediale Aufarbeitung der PISA-Studien ein sehr schwieriges Unterfangen ist. Einerseits handelt es sich um ein höchst relevantes Thema, das mit hohem öffentlichen Interesse einhergeht und mit dem sich vortrefflich Politik machen lässt. Andererseits ist die Struktur der Daten und Analysen sehr kompliziert und deshalb sind profunde Statistikkenntnisse für deren Interpretation unerlässlich – und wohl die meisten Journalisten und Politiker lassen diese in der hierfür notwendigen Art und Weise vermissen. Die Rangfolge der Bundesländer ist zwar sehr anschaulich, doch sie ist nur mit äußerster Vorsicht zu interpretieren. Viele der Unterschiede sind so klein, dass sie zwar für die verwendete Stichprobe zufällig so, in Wahrheit aber anders sind.

Tatsächlich sieht es also nicht so aus, als hätte sich wirklich Bahnbrechendes an der deutschen Bildungssituation geändert. Jedenfalls nicht so gravierend, wie es in vielen Medienberichten wirkte. Aber „Nichts Neues“ ist eine ebenso langweilige wie politisch unerwünschte Schlagzeile. Dann schon lieber: „Deutschland hat einen neuen Bildungs-Champion“ (Spiegel). Um Genaueres sagen zu können, wird aber allen Interessierten der Blick in die ausführliche Dokumentation der Ergebnisse, die in diesen Tagen erscheint, nicht erspart bleiben. Dafür hat man dann die Sicherheit, dass die Ergebnisse nach wissenschaftlichen Kriterien ausgewertet und interpretiert wurden.

Zum Weiterlesen:
PISA-Konsortium Deutschland (Hrsg.),
PISA 2006 in Deutschland – Die Kompetenzen der Jugendlichen im dritten Ländervergleich,
(2008), Münster, Waxmann,
435 S. ISBN: 978-3-8309-2099-1, 19,90 Euro

Weiterführende Links:
Zusammenfassung der Ergebnisse des Ländervergleichs PISA 2006
Überblick über relevante Publikationen rund um die PISA-Studie 2003


Die Bildrechte liegen beim Waxmann Verlag (Cover der PISA-Studie).


Lesen Sie mehr bei /e-politik.de/:

Geopferte Bildung

Bildung und soziale Gerechtigkeit

Bild‘ dir deine Meinung – Das Bildungsdossier