Signifikanstest

Vad är ett signifikanstest?

Ett signifikanstest, eller en hypotesprövning, svarar på frågan om en skillnad i data är så stor att den är svår att förklara med slumpen. Man utgår från en nollhypotes, $H_0$, som säger att det inte finns någon verklig skillnad. Sedan räknar man ut hur ovanligt det observerade resultatet vore om nollhypotesen stämde.

Det måttet kallas p-värde. Är p-värdet mindre än den signifikansnivå man bestämt i förväg, oftast 5 %, förkastas nollhypotesen och skillnaden kallas statistiskt signifikant.

Vad p-värdet betyder, och inte betyder

p-värdet är sannolikheten att få ett resultat minst lika extremt som det observerade, om nollhypotesen är sann. Det är en vanlig och viktig missuppfattning att p-värdet skulle vara sannolikheten att nollhypotesen är sann. Ett p-värde på 0,03 betyder inte att det är 3 % risk att skillnaden är slump.

• Ett litet p-värde betyder att data passar dåligt med nollhypotesen.
• Ett stort p-värde betyder inte att nollhypotesen är sann, bara att data inte räcker för att förkasta den.
• Statistisk signifikans säger ingenting om hur stor eller viktig skillnaden är. Med tillräckligt många observationer blir även mycket små skillnader signifikanta.

Välj rätt test

t-test för två grupper

Används för att jämföra medelvärdet i två oberoende grupper, till exempel provresultat i två klasser eller blodtryck med och utan en behandling. Kalkylatorn använder Welchs t-test, som inte kräver att grupperna har samma spridning. Med medelvärdena 72 och 66, standardavvikelserna 10 och 12 och 30 personer i varje grupp blir t = 2,104 (56,17 fg) och p-värdet 0,0399. Det är under 5 %, så skillnaden är signifikant. På 1 %-nivån är den det inte: inte signifikant.

t-test för ett stickprov

Jämför ett medelvärde med ett känt eller påstått värde, till exempel om en fyllningsmaskin verkligen fyller 500 gram i snitt. Med medelvärdet 72, standardavvikelsen 10 och 30 mätningar mot ${\mu }_0=70$ blir p-värdet 0,282, inte signifikant. Samma skillnad med 400 mätningar ger p-värdet < 0,0001. Det visar hur starkt urvalets storlek påverkar slutsatsen.

z-test för två andelar

Används för andelar, till exempel i ett A/B-test på en webbplats eller för att jämföra andelen ja-svar i två undersökningar. Med 120 köp av 1 000 besökare i version A och 150 av 1 000 i version B blir z = −1,963 och p-värdet 0,0496, precis under 5 %. Andelarna förklaras i procentkalkylatorn, och skillnaden mellan dem mäts i procentenheter som procentenhetskalkylatorn visar.

Tvåsidigt eller ensidigt test

Ett tvåsidigt test frågar om grupperna skiljer sig åt, åt något håll. Ett ensidigt test frågar om den ena är större, eller mindre, än den andra. Det ensidiga p-värdet är hälften så stort när skillnaden går åt det håll man testar. I exemplet med två grupper blir det 0,0199 i stället för 0,0399, och för A/B-testet 0,0248.

Riktningen måste bestämmas innan man tittar på data. Att välja ensidigt test i efterhand för att få ett lägre p-värde är ett vanligt sätt att lura sig själv.

Så räknar kalkylatorn

För t-test med två grupper räknas medelfelet för skillnaden ut som $\mathrm{SE}=\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}$, och teststorheten blir $t=\frac{m_1-m_2}{\mathrm{SE}}$, där $m_1$ och $m_2$ är gruppernas medelvärden. Antalet frihetsgrader räknas fram med Welch–Satterthwaites formel. För ett stickprov är $t=\frac{m-{\mu }_0}{s/\sqrt{n}}$ med $n-1$ frihetsgrader.

För två andelar slås grupperna först ihop till en gemensam andel $p$, eftersom nollhypotesen säger att de är lika. Teststorheten är $z=\frac{p_1-p_2}{\sqrt{p(1-p)(\frac{1}{n_1}+\frac{1}{n_2})}}$. Hur långt ett värde ligger från medelvärdet i en normalfördelning visar z-score-kalkylatorn.

p-värdet hämtas sedan ur t-fördelningen respektive normalfördelningen. Diagrammet visar fördelningen om nollhypotesen är sann, och det skuggade området är p-värdet.

Förutsättningar

• Observationerna ska vara oberoende och komma från slumpmässiga urval.
• t-testen förutsätter ungefär normalfördelade data eller tillräckligt stora grupper, en vanlig tumregel är 30 per grupp.
• z-testet för andelar kräver att varje grupp har minst 5–10 lyckade och misslyckade utfall.
• Testar man många saker samtidigt blir någon av dem signifikant av en slump. Med 20 test på 5 %-nivån väntas ett falskt positivt resultat.

Typ I- och typ II-fel

Ett test kan gå fel på två sätt. Ett typ I-fel är att förkasta en nollhypotes som egentligen är sann, alltså att hitta en skillnad som inte finns. Risken för det är signifikansnivån, oftast 5 %. Ett typ II-fel är att missa en skillnad som faktiskt finns. Den risken minskar med större urval och större verklig skillnad. Ett test med för få observationer har låg styrka och missar ofta verkliga effekter, vilket är ytterligare ett skäl att inte tolka ett icke-signifikant resultat som att skillnaden saknas.

Signifikans och konfidensintervall

Ett konfidensintervall för skillnaden ger mer information än p-värdet ensamt, eftersom det också visar hur stor skillnaden kan vara. Om ett 95 % intervall för skillnaden inte innehåller 0 är skillnaden signifikant på 5 %-nivån. Intervall för en andel eller ett medelvärde räknar du i konfidensintervallkalkylatorn, och hur många observationer som behövs i urvalsstorlekskalkylatorn.

Fler statistikverktyg

Spridningsmåttet som testen bygger på räknas i standardavvikelsekalkylatorn. Alla statistikverktyg finns bland statistikkalkylatorerna, och övriga områden på matematiksidan.