Wanneer je de uitvoering, dataverzameling en de analysefase hebt afgerond dan is het tijd om de uitkomsten hiervan te gaan interpreteren. Binnen een ontwerp- of handelingsonderzoek doe je dit in meer of mindere mate na elke fase (op basis waarvan een ontwerp wordt bijgesteld en een volgende uitvoeringsfase gestart), bij een interventie onderzoek zal interpretatie meestal plaatsvinden wanneer de dataverzameling en analyse geheel zijn afgerond.
In de vorige stap in de onderzoekscyclus (Gegevens analyseren) heb je alle verkregen onderzoeksgegevens (kwalitatief/kwantitatief) geordend en geanalyseerd. Daardoor heb je nu inzicht in wat het onderzoek heeft opgeleverd en kun je een antwoord gaan formuleren op de onderzoeksvraag en/of deelvragen. “Yep, bijna klaar, ” We horen het je denken. Maar voordat je te vroeg juicht…het interpreteren van deze resultaten is een tijdrovend en secuur werkje. Bovendien zal dit ook aanleiding geven voor verdere discussie en aanbevelingen. Hoe pak je dit aan?
Hieronder drie opeenvolgende stappen die jou helpen om de uitkomsten vanuit jouw onderzoek te interpreteren.
Stap 1 – Sit back, relax and… stel jezelf wat vragen
Wanneer je al jouw data geanalyseerd hebt en het digitale stof is neergedaald, ga dan eens rustig achterover zitten in je stoel en probeer het geheel van resultaten te overzien en vraag jezelf daarbij het volgende af:
- Welke uitkomsten heb ik nu precies gevonden? Zijn er uitkomsten die opvallend of afwijkend zijn?
- Wat betekenen die uitkomsten nu precies (bijvoorbeeld, als een leerling op een likertschaal 1-5 een 3,4 scoort, wat betekent die 3,4 dan precies?)
- Welke uitkomsten liggen hierbij in de logische lijn der verwachting en welke juist niet?
- Welk antwoorden kan ik op basis van deze uitkomsten formuleren op mijn hoofd- en/of deelvragen?
Je komt vanuit deze stap dus tot een of meerdere (voorlopige) conclusies op basis van jouw onderzoek. Echter, je hebt hierin de ‘waarom-vraag’ nog niet gesteld. Waarom heeft jouw interventie wel/niet gewerkt? Waarom bood jouw ontwerp wel/geen oplossing voor de aanleiding van het onderzoek? Hiermee ga je aan de slag in stap 2.
Stap 2 – Interpreteren en vergelijken
Voorafgaand aan het onderzoek had je ongetwijfeld bepaalde verwachtingen. Misschien heb je zelfs een of meerdere hypothesen opgesteld indien je een interventieonderzoek deed. Vanuit de eerste stap hierboven kun je weliswaar een eerste antwoord formuleren op de onderzoeksvragen, maar daarmee ben je er nog niet. Jij en de volgers van jouw onderzoek (zoals de vakgroep, de school) willen deze uitkomsten ook graag begrijpen. Wanneer alle resultaten in de lijn der verwachting lagen dan is dat relatief eenvoudig. Vanuit het theoretisch kader dat je hebt gebruikt in je onderzoek kun je de meeste resultaten dan wel uitleggen en verklaren en dat is dan ook precies wat je moet doen. Vervolgens is het dan interessant om een vergelijking te maken met de uitkomsten van soortgelijke onderzoeken. Het wordt echter ingewikkelder (en *spoiler alert* dat wordt het bijna altijd…) wanneer uitkomsten niet helemaal (of helemaal niet) overeenkomen met jouw verwachtingen (op basis van het theoretische kader) voorafgaand aan het onderzoek.
Bijvoorbeeld, jouw interventie rondom motorisch leren heeft wel een effect gehad, maar alleen bij leerlingen uit de onderbouw van de basisschool. Of mogelijk werd jouw definitieve ontwerp van een nieuwe beoordelingssystematiek weliswaar enthousiast onthaald door de vakgroep, in de laatste try-out fase van het onderzoek waren de leerlingen een stuk minder enthousiast. Dus ondanks dat je hiermee de onderzoeksvragen kunt beantwoorden wijken de resultaten van je onderzoek mogelijk af van je verwachtingen. Je wilt in dit geval vooral weten waarom dit zo was. Uiteraard spreek je hiervoor eerst je eigen verstand aan. Hoe zou je dit resultaat kunnen verklaren? Maar je onderscheidt jezelf pas echt als Onderzoekende Docent LOTM wanneer je vervolgens op zoek gaat naar bronnen die jouw verklaring ondersteunen. En daarbij zul je erachter komen dat die bronnen er vaak wel zijn, maar soms ook niet. In dat laatste geval komt het dus aan op jouw gezonde boerenverstand en ga je , bij gebrek aan ondersteunende bronnen, jouw interpretatie daarop baseren. Maar wanneer je de verklaringen kunt onderbouwen met een of meerdere bronnen, waarmee je aannemelijk maakt wat nu precies tot dit resultaat heeft geleid, dan maakt dit jouw uitspraken krachtiger, betrouwbaarder en daarmee waardevoller (voor de praktijk). Zorg er in alle gevallen voor, zeker indien je jouw uitspraken niet kunt onderbouwen met inzichten uit vergelijkbare andere onderzoeken, dat je jouw interpretatie met de nodige nuance brengt. Dus in plaats van ‘uit de resultaten blijkt het docentgedrag sterke invloed uit te oefenen op de motivatie van leerlingen’, zou je beter kunnen schrijven ‘op basis van de resultaten lijkt het docentgedrag van invloed te zijn op de motivatie van leerlingen van klas x op school y.
Een uitdaging hierbij is wel om objectief naar de uitkomsten van jouw onderzoek te blijven kijken. Hieronder beschrijven we een aantal concrete valkuilen die je moet zien te vermijden!
Selectie bias: Conclusies trekken voor een grotere groep, op basis van gegevens die niet representatief zijn voor die groep. Bijvoorbeeld: Wanneer je aan alle leerlingen die meedoen aan een buitenschools sportprogramma vraagt welke sporten ze leuk vinden, dan weet je niet wat de leerlingen die tot nu toe niét meededen leuk vinden. Je kunt dus geen uitspraak doen over alle leerlingen van de school, alleen over de leerlingen die deelnamen aan jouw interventie.
Hawthorne effect. Ook wel bekend als het observatie-effect. Wanneer het onderzoeken van mensen hun gedrag beïnvloedt. Bijvoorbeeld: Wanneer je tegen een docent zegt dat je zijn les observeert om te kijken in hoeverre hij positief communiceert, heb je kans dat deze spontaan meer complimentjes aan leerlingen gaat geven. Indien het vermoeden bestaat dat dit het geval was dan zul je dit minimaal moeten benoemen. Maar mogelijk heeft het gevolgen voor de geldigheid van je resultaten.
McNamara denkfout. Je zo blindstaren op (kwantitatieve) gegevens, dat je het grotere geheel uit het oog verliest. Bijvoorbeeld: Een leraar LO concludeert dat het goed gaat met zijn lessen omdat de cijfers van de leerlingen beter zijn dan vorig jaar, terwijl er elke les een paar huilend van ellende de zaal uitlopen.
Het kan ook zijn dat bepaalde aspecten binnen het onderzoeksproces een verklaring zijn voor de resultaten van je onderzoek. Bijvoorbeeld wanneer door omstandigheden de afname van een vragenlijst of ander meetinstrument niet verliep zoals gepland. Het is belangrijk om kritisch de opzet en uitvoering van jouw onderzoek te beschouwen en alle aspecten die van invloed geweest kunnen zijn te benoemen. Meer hierover lees je binnen de tegel ‘Evalueren van het onderzoeksproces’.
Stap 3 – Bevindingen beschrijven (discussie)
Ongeacht of je straks jouw onderzoek presenteert in een artikel, een presentatie, een poster of een ander product, het is in deze fase een goed idee om voor jezelf een aantal zaken netjes op papier te zetten. Doe dit stap voor stap. Per besproken uitkomst kun je hierbij de volgende opbouw hanteren:
- Herhaal kort welke onderzoeksvraag of deelvraag beantwoord gaat worden.
- Geef een beknopt antwoord op de onderzoeksvraag of op een deelvraag (zonder daarbij in herhaling te vallen, bij de resultaten heb je immers al gedetailleerd verslag gedaan van de uitkomsten, dus benoem hier niet opnieuw concrete cijfers, quotes, etc.).
- Geef een verklaring voor deze uitkomst. Indien mogelijk gebruik je hierbij bronnen die deze verklaring ondersteunen.
- Plaats de uitkomst in perspectief door (indien mogelijk) een vergelijking te maken met de uitkomsten of inzichten van vergelijkbaar onderzoek.
- Bespreek de implicaties van deze uitkomst. Wat betekent dit voor de (onderwijs)praktijk?
Dit herhaal je voor alle onderzoeksvragen en deelvragen.
Voorbeeld (de kleuren van bovenstaande stappen geven aan waar dit herkenbaar is in de tekst).
Vanuit de resultaten van de observatie kan de deelvraag van de derde cyclus uit het ontwerponderzoek (‘wat is het effect van de beschreven acties binnen het handelingsplan op het gedrag van leerling X tijdens de les?’) beantwoord worden. Uit de resultaten bleek dat acties die waren gericht op het verbeteren van de relatie met leerling X leidden tot een verbeterde houding van de leerling ten opzichte van de docent en medeleerlingen. Er werden minder conflicten waargenomen met leerlingen en er waren vrijwel geen conflicten met de docent. Met de ingezette acties in het handelingsplan is succesvol ingespeeld op de basisbehoefte relationele verbondenheid (Vansteenkiste & Soenens, 2018). Het tonen van interesse in de leerling, het naast de leerling staan (in plaats van erboven) en het luisteren naar de behoeften van de leerlingen hebben blijkbaar voldoende ondersteuning geboden aan het ontwikkelen van een betere relatie met de leerling, wat overeenkomt met bevindingen vanuit de literatuur (Soenens et al., 2007). Uit de resultaten bleek daarnaast ook dat het handelingsplan zorgde voor een heldere structuur binnen de les. Het uitspreken van heldere verwachtingen aan het begin van elke les in combinatie met het geven van vertrouwen aan leerling X om hebben daarbij mogelijk een succesvolle impact gehad op het verantwoordelijkheidsgevoel van de leerling (Koopman, 2018), met als gevolg een positievere houding in de les, meer pro-sociaal gedrag en een veel lagere agressie richting docent en medeleerlingen. Dit effect trad wel pas op na vier lessen, wat overeenkomt met de resultaten uit een vergelijkbaar onderzoek naar het verminderen van agressie bij jeugddelinquenten (Boendermaker & Ince, 2008) waarbij effecten pas optraden na de vijfde sessie in en reeks van tien. Voor de praktijk van het onderwijs en het ondersteunen van deze leerlingen betekent dit dat wanneer er gedurende een langere periode gericht wordt gewerkt aan het ondersteunen van de relatie met leerling X dit na een aantal lessen tot duidelijke resultaten leidt.