10. De nutteloze p-waarde

In de voorbeelden komt steeds maar één uitkomst voor, maar wat als zij allebei (kop en munt) in een serie voorkomen? Stel, we gooien de munt honderd keer en we observeren eenmaal kop en 99 maal munt en als we dit nog een keer doen 50 maal kop en 50 maal munt. Het is duidelijk dat we intuïtief bij het eerste experiment zouden besluiten dat de munt vals is en bij het tweede eerlijk. De waarschijnlijkheid van iedere uitkomst is weer met binomiale kansen te berekenen: de kans op eenmaal munt in 100 worpen is 100 * (1/2)¹ * (1/2)⁹⁹ = 7,9 * 10⁻²⁹, dat wil zeggen, zoals verwacht een zeer kleine kans (0,000000000000000000000000000079). De kans op 50 maal kop en 50 maal munt is

Dit voelt verrassend, omdat we precies een verdeling van 50:50 waarnemen, waarvan we verwachtten dat deze, bij een eerlijke munt, de hoogste kans zou hebben. Het punt is dat er zo enorm veel mogelijke series van 100 worpen zijn, namelijk 10.000 verschillende combinaties, dat iedere uitkomst zeldzaam is. Bij 10.000 mogelijkheden is 7,9 % juist een vrij hoge kans. Dit is de reden dat de p-waarde niet gedefinieerd wordt als de kans op een bepaalde uitkomst, maar als de kans op deze of een meer extreme uitkomst (overschrijdingskans). In dit geval is (p ≥ 50) = 0,54 en we zouden concluderen dat er geen reden is aan te nemen dat er iets mis is met de munt.

Ook hier zijn geen garanties. Geen enkele steekproefgrootte garandeert dat een bestaand verschil ook gezien wordt. De kans dát een vooraf gespecificeerd verschil in het onderzoek opgemerkt wordt, is te kwantificeren en wordt de ‘power’ genoemd, en 1-power de type-II-fout. De power is te vergelijken met de sensitiviteit van een diagnostische test. In deze voorbeelden is de power op 80 % gezet: wanneer het werkelijke verschil tussen mannen en vrouwen in een bepaald beroep 51–49 is, hebben we met een steekproef van 20.000 mensen 80 % kans op een significant resultaat. Willen we meer zekerheid (hogere power), dan moet de te onderzoeken groep worden vergroot. Dit kan ook worden omgedraaid: bij een zeer klein onderzoek leiden ook grote effecten niet tot een significant resultaat, terwijl bij een zeer groot onderzoek zelfs de kleinste verschillen significant worden.