Statistikk og tall

Statistikk basert på store tall er mer pålitelig er statistikk basert på små tall. Studier av effekten av homøopati illustrerer dette tydelig: Homøopati er mange ganger bedre enn placebo i studier som omfatter 30 til 100 tilfeller, men effekten forsvinner i de største studiene. Effekten blir enda mindre hvis den er strengt ”dobbeltblind”, dvs. verken pasienten eller homøopaten vet noe og kan påvirke resultatet mens undersøkelsen pågår. Og den blir mindre hvis ikke forskeren selv er homøopat.

I 1993 gikk alarmen da en svensk studie (Feychting og Ahlbom) viste at barn hadde økt risiko for leukemi hvis de bodde nær kraftlinjer. Konklusjonen var basert på 7 tilfeller. Små tall gir rom for store tilfeldigheter: Barn som bodde i eneboliger hadde femdoblet leukemirisiko, mens den halvparten av barna i studien som bodde i blokkleiligheter hadde redusert risiko. Beregningene av feltbelastningen ble gjort med en metode som absolutt ikke var ”dobbeltblind”, med to ”blindere” metoder gjengitt i samme artikkel forsvant effekten.

18. februar, 2006 skriver Adresseavisen: ”- Konkurranse gir skoletapere”. Konklusjonen kommer fra en doktoravhandling basert på en treårig studie av 8 skoleklasser. Forskerens mange konklusjoner peker alle i ønsket retning, hvilket får journalisten til å påpeke at ”- Dette virker svært så politisk korrekt”. Svaret er at det er brukt både ”kvantitative og kvalitative metoder”. Kvantitative metoder er statistikk, kvalitative metoder er vitenskapelig – eh, synsing.

Statistikken omfatter 8 klasser, dvs. 8 datapunkter. Det er neppe noen som vil antyde at vurderingen av klassene og lærerne kan gjøres ”dobbeltblind”. Hadde du henvist til så tynn statistikk i en reklame for kvisekrem, hadde Forbrukerrådet grepet inn. Og er norsk skole så mye mer konkurransepreget enn andre lands skoler siden vi gjør det dårligere på internasjonale tester?