PISA er ikke et fyrtårn

PISA er ikke noe fyrtårn som lyser i mørket, og det er ikke natt, skriver professor Jan Ubøe i Aftenposten 4. mars.

04.03.2014 - Jan Ubøe

PISA 2012 er et monumentalt forskningsarbeid.

Eksperter fra mange land har gått sammen om å utforme en test som kan måle skoleferdigheter til 15 år gamle elever på tvers av land og kulturer. Denne gangen var fokus særlig rettet mot matematikk. Intensjonen er god, men hva om dette er en nesten umulig oppgave?

PISA 2012 rapporterer en rekke signifikante forskjeller. Alle som har jobbet med statistikk vet at enhver forskjell, uansett hvor ubetydelig den enn er, fremstår som signifikant hvis vi har mye data. Derfor bør vi spørre oss om forskjellene er store nok til å ha praktisk betydning.

Urovekkende feilkilder

En sammenligning av matematikkferdigheter i PISA 2012 og en annen internasjonal undersøkelse: TIMSS 2011, som tester matematikk- og naturfagferdighetene til elever i 4. og 8. klasse, gir til dels sterkt motstridende resultater.

Hvis vi fokuserer på land vi naturlig kan sammenligne oss med, er det påfallende lite samsvar mellom resultatene: Mange land som er bedre enn oss på TIMSS, ligger bak oss på PISA.

Ved første øyekast fremstår forskjellene som tilfeldige, men det er de ikke. Det finnes en grundig OECD-rapport omkring dette temaet:

Margaret Wu, 2010: Comparing the Similarities and Differences of PISA 2003 and TIMSS. Wu påpeker samtidig en del urovekkende feilkilder.

I rapporten går det frem at gjennomsnittsalderen varierte med mer enn ett år fra land til land i begge undersøkelser. For Norges vedkommende var for eksempel gjennomsnittsalderen i TIMSS et halvt år lavere enn snittet.

Det betyr at plasseringen til norske skoleelever ville vært vesentlig bedre, justert for alder.

Svært små forskjeller

PISA 2012 viser at fordelingen av elevenes matematikkferdigheter innenfor OECD-landene er forbløffende like. Det er en interessant innsikt. Mange forskjeller rapporteres riktignok som signifikante, men da ser en vekk fra viktige momenter.

Sammenligningen mellom de to undersøkelsene PISA og TIMSS viser nemlig at resultatene avhenger mye av hvordan teori vektes mot praksis.

Alder er en systematisk feilkilde. Det er også lett å forestille seg at graden av motivasjon for å gjøre sitt beste på testen kan være kulturelt betinget og variere systematisk fra land til land. Tar man hensyn til alt dette, virker forskjellene så små at det meste blir ikke-signifikant.

Hva skal til?

Japan, Kina og Korea ligger i en klasse for seg, men jeg tror ikke vi ønsker deres type skolesystem hos oss. Et tankekors er Russland, som slår oss med 64 poeng på TIMSS, men dette gir seg ikke utslag i økt evne til å løse de mer praktiske oppgavene i PISA. Hva skal da til for å utgjøre en forskjell?

Hva om det er slik at alle land vi naturlig sammenligner oss med, har et godt utbygd skolevesen med gode og godt motiverte lærere, og at elevene i store trekk gjør omtrent det samme på skolen? Hva om det ikke finnes noen enkle veier til forbedring, og at viktige impulser på tvers av land allerede er fanget opp av skolemyndighetene i de ulike landene? Hva om eventuelle forskjeller utover dette i all hovedsak skyldes sosioøkonomiske forhold utenfor skolen? Dette er sentrale spørsmål, og jeg har ingen svar.

Betyr disse innvendingene at jeg mener at alt er bra i norsk skole? Slett ikke. Verden er i rask endring, og norsk skole må evne å møte nye og stadig større utfordringer.

Middels på PISA - så bra!

Et middels resultat på PISA har den underfundige bieffekten at den skaper politisk vilje til å ta viktige grep i skolen. Det bør alle som er opptatt av kvalitet i skolen utnytte for alt det er verdt.

Etter mitt syn bør fokus i matematikk være på videregående skole. Vi trenger mer tung fagkompetanse i realfag. Samtidig bør vi stimulere enda flere unge til å velge realfag. Dette har naturligvis ingen betydning for PISA, som tester ungdomsskoleelever. Like sikkert er det at flere gode grep i ungdomsskolen, for eksempel knyttet til nyrekruttering, ikke kan forventes å endre PISA-resultatene på kort sikt.

PISA er ikke noe fyrtårn som lyser i mørket, og det er ikke natt. På godt og vondt må norsk skole finne sin egen vei. Vi må finne tiltak som passer til norsk kultur og til norske behov. Naturligvis skal vi se hva de gjør i utlandet, men å gjøre som alle andre er trolig en sikker vei til tap.