Verdeel een dataset in subgroep na subgroep totdat het toeval u een p < 0,05 geeft. Kijk vervolgens hoe een nieuw monster beslist of uw bevinding echt was of een toevalstreffer.
De behandeling heeft geen echt effect, dus elke betekenis die u vindt is ruis. Filter de gegevens in subgroepen en voer de test zo vaak opnieuw uit als nodig is om een p-waarde onder de 0,05 te vinden. Dien vervolgens uw 'bevinding' in bij de scheidsrechter. De twist: een replicatiecontrole trekt een nieuw, onafhankelijk monster en test uw exacte claim opnieuw. Echte effecten blijven bestaan; p-hacks verdwijnen – en die kloof is de hele les.
Cherry Picker gaat over p-hacking, meerdere vergelijkingen en waarom replicatie belangrijk is: de integriteit van statistieken.
Filteren op subgroepen en de toets opnieuw uitvoeren tot er iets significants opduikt, is data dredging — p-hacking: veel toetsen uitvoeren en alleen rapporteren wat significant uitvalt.
Het originele ontwerp is dat de behandeling geen echt effect heeft, dus elk resultaat dat je vindt is per definitie ruis.
Dat is de enige eerlijke manier om dit te onderwijzen. In abstracte termen klinkt p-hacking als bedrog dat een zorgvuldig mens nooit zou plegen; het uitvoeren op data die gegarandeerd leeg zijn, laat zien hoe makkelijk significantie verschijnt, en dat is het probleem van meervoudige vergelijkingen en geen karakterfout.
Cherry Picker is een statistiekspel over p-hacking, meerdere vergelijkingen en waarom replicatie belangrijk is. Het is een origineel gratis browserspel gebouwd voor PlayPendium.