Skäl att gräva djupare i PISA-resultat

Elever i fristående skolor presterar högre resultat i PISA 2015 än elever i kommunala skolor. I studiens huvudämne, naturvetenskap, är skillnaden 17 poäng. I läsning och matematik var friskoleeleverna 18 respektive 15 poäng bättre.

Men friskolorna har i genomsnitt fler elever med högutbildade föräldrar och färre elever med utländsk bakgrund. En del av skillnaderna försvinner därför när statistikerna kontrollerar för detta. Att kontrollera för, eller konstanthålla, en variabel betyder att man tar bort effekten av faktorer som man inte vill mäta. Det gör att resultaten kan tolkas på ett meningsfullt sätt.

I Skolverkets analys av PISA-resultaten presterar friskolorna mellan 1,5 och 4 poäng bättre, beroende på hur man räknar. Inga av dessa skillnader är dock statistiskt signifikanta.

– Det finns en liten poängfördel för elever i fristående skolor, säger Anders Auer som är huvudförfattare till Skolverkets Pisa-rapport till Sveriges Radio (7/12 2016).

OECD skriver i sin rapport att de kommunala skolorna presterar högre resultat, efter kontroll för socioekonomiska faktorer. Hur kan det hänga ihop? Svaret är att OECD och Skolverket kontrollerar för olika variabler. OECD tar inte hänsyn till utländsk bakgrund. Däremot använder de ett statistiskt mått för skolans sociala status: den genomsnittliga socioekonomiska sammansättning. OECD utgår från att det finns en viss grad av kamrateffekter, något som inte är säkerställt i forskningen.

Till Dagens Industri (9/12) säger Anders Auer att Skolverkets modell är bäst och får medhåll av flera statistiker.

– Invandrarbakgrund är en relevant variabel, säger Alfonso Echazarra, som är statistiker på OECD.

Däremot är de oense om skolans sociala status ska räknas med. Anders Auer ser en risk att det kan ta bort effekten av friskolornas särart vilket kan leda till fel resultat.

– Om lärarkvaliteten skulle vara högre på skolor där den socioekonomiska sammansättningen är gynnsam och det är så att friskolor har bättre lärare så riskerar man att ta bort effekten av det från resultatet, säger Anders Auer till Dagens Industri.

Diskussionen om metodfrågorna visar att det finns ett behov av att gräva mer i resultaten. Svenskt Näringsliv kommer under vårvintern återkomma med en egen fördjupad analys av PISA 2015. Vi har bett skolforskaren Gabriel Heller-Sahlgren att särskilt granska likvärdigheten och skillnaderna mellan olika huvudmän. Till dess kommer vi att förlita oss på experterna från Skolverket.