Groepsjoemelen. Groepen zo indelen dat er een ‘gunstige’ uitkomst uit je onderzoek komt. Groepen hoor je vooraf in te delen, op een neutrale manier. Niet op een manier waardoor je verwacht dat er een door jou gewenste uitkomst uitkomt.

Selectie bias. Conclusies trekken voor een grotere groep, op basis van gegevens die niet representatief zijn voor die groep.

Wanneer je aan alle leerlingen die meedoen aan een buitenschools sportprogramma vraagt welke sporten ze leuk vinden, dan weet je niet wat de leerlingen die tot nu toe niét meededen leuk vinden.

Hawthorne effect. Ook wel bekend als het observatie-effect. Wanneer het onderzoeken van mensen hun gedrag beïnvloedt. Als je bijvoorbeeld tegen een docent zegt dat je zijn les observeert om te kijken in hoeverre hij positief communiceert, heb je kans dat deze spontaan meer complimentjes aan leerlingen gaat geven.

McNamara denkfout. Je zo blindstaren op (kwantitatieve) gegevens, dat je het grotere geheel uit het oog verliest. Zoals een gymleraar die concludeert dat het goed gaat met zijn lessen omdat de cijfers van de leerlingen beter zijn dan vorig jaar, terwijl er elke les een paar huilend van ellende de zaal uitlopen.

Cherry Picking. Oftewel kersen plukken. Dit houdt in dat je alleen de gegevens selecteert die je eigen ideeën ondersteunen, en de gegevens die ze tegenspreken weglaat. Dit is de ergste manier om gegevens te misbruiken. Bijvoorbeeld bij een interventie in de gymles van zes weken, alleen kijken naar de resultaten van de eerst drie weken omdat er daarna geen effect meer te zien is.

Data dredging. Oftewel data dreggen. Daarbij ga je op zoek naar allerlei verbanden in je gegevens, zonder dat je er voorafgaand aan je onderzoek een hypothese over had. Wanneer je maar genoeg gegevens verzamelt, zal er altijd wel ergens een toevallig verband tussen twee zaken zitten. Bijvoorbeeld tussen de score op de Coopertest en de hoeveelheid huisdieren die een leerling heeft.

Overlevers bias. Conclusies trekken uit een incomplete set met gegevens, die bepaalde selectiecriteria heeft ‘overleefd’. Wanneer je bijvoorbeeld met een groep van vijftig leerlingen aan de Avondvierdaagse meedoet, en na vier dagen zijn er nog maar twintig over, dan zegt de tevredenheid van die twintig leerlingen over de Avondvierdaagse weinig over de algemene tevredenheid van alle leerlingen die aan de start stonden.

(Wat dat vliegtuig ermee te maken heeft: zie data-literacy.geckoboard.com).

Groepsjoemelen. Groepen zo indelen dat er een ‘gunstige’ uitkomst uit je onderzoek komt. Groepen hoor je vooraf in te delen, op een neutrale manier. Niet op een manier waardoor je verwacht dat er een door jou gewenste uitkomst uitkomt.

Selectie bias. Conclusies trekken voor een grotere groep, op basis van gegevens die niet representatief zijn voor die groep.

Wanneer je aan alle leerlingen die meedoen aan een buitenschools sportprogramma vraagt welke sporten ze leuk vinden, dan weet je niet wat de leerlingen die tot nu toe niét meededen leuk vinden.

Hawthorne effect. Ook wel bekend als het observatie-effect. Wanneer het onderzoeken van mensen hun gedrag beïnvloedt. Als je bijvoorbeeld tegen een docent zegt dat je zijn les observeert om te kijken in hoeverre hij positief communiceert, heb je kans dat deze spontaan meer complimentjes aan leerlingen gaat geven.

McNamara denkfout. Je zo blindstaren op (kwantitatieve) gegevens, dat je het grotere geheel uit het oog verliest. Zoals een gymleraar die concludeert dat het goed gaat met zijn lessen omdat de cijfers van de leerlingen beter zijn dan vorig jaar, terwijl er elke les een paar huilend van ellende de zaal uitlopen.

Het gevaar van beschrijvende statistiek. Wanneer je uitsluitend kijkt naar, bijvoorbeeld, het gemiddelde en de standaarddeviatie van je gegevens, mis je soms een belangrijke onderliggende verdeling. Zo zijn van de figuren hiernaast het gemiddelde en de standaarddeviatie misschien wel gelijk. Terwijl bij de grafiek rechtsonder het gemiddelde aantal gescoorde vrije worpen (bijvoorbeeld) sterk wordt verhoogd door één topschutter.