Wanneer je de bruikbaarheid en effectiviteit van een bestaande aanpak, methode, instrument of strategie wilt vaststellen, dan is een interventieonderzoek vaak het meest geschikt. Een interventie is een doelbewuste ingreep om iets te verbeteren. Bij deze vorm van onderzoek ga je in de bestaande beroepspraktijk iets veranderen om vervolgens vast te stellen welke gevolgen deze ingreep heeft.
Stel dat je wilt weten in welke mate het werken met video-feedback een bijdrage levert aan het leerproces van leerlingen bij hoogspringen. Dan kun je bijvoorbeeld twee groepen leerlingen met elkaar vergelijken. Een groep leerlingen doorloopt een lessenserie hoogspringen, waarbij gewerkt wordt met iPads waarop de leerlingen hun sprong kunnen terugzien (‘interventiegroep’). Een andere (vergelijkbare) groep leerlingen doorloopt een lessenserie hoogspringen, waarbij de leraar LO, zoals gebruikelijk, de leerlingen voorziet van feedback (‘controlegroep’). Door de leerwinst van de twee groepen vervolgens met elkaar te gaan vergelijken ben je in staat om iets te zeggen over de effectiviteit van het werken met video-feedback bij deze groepen (!). Wanneer de interventie gericht is op het verbeteren van (beweeg) gedrag, dan moet je jezelf wel goed beseffen dat dit soort leerprocessen veel tijd nodig hebben. Leerlingen die de motorische vaardigheden voor hoogspringen onvoldoende beheersen, leer je namelijk met geen enkele methode (interventie) in drie lessen goed hoogspringen. Wil je dus echt iets kunnen zeggen over de effectiviteit van een methode, instrument of strategie dan is het belangrijk dat je ervoor zorgt dat de interventieperiode lang genoeg is. Ook wil je dat de interventie- en controlegroep zo veel mogelijk vergelijkbaar zijn, en dat er behalve de interventie zo min mogelijk verschillen zijn in de aanpak. Anders is het moeilijk om te weten waardoor een eventueel verschil tussen de groepen wordt veroorzaakt!
Op OnderzoekLO.nl vind je over elke stap van de onderzoeks-cyclus verdere informatie die je kunt gebruiken bij je interventieonderzoek. En bij de stap ‘onderzoek opzetten’ vind je nog meer specifieke informatie over wat er komt kijken bij het ontwerpen van een interventieonderzoek.
Men spreekt van handelingsonderzoek wanneer het onderzoeksresultaat in principe directe gevolgen heeft voor de eigen handelingspraktijk en daarmee voor je eigen ontwikkeling als leraar LO. Een handelingsonderzoek komt vaak voort uit een handelingsvraag of uit zogenaamde ‘handelingsverlegenheid’. Dit is een situatie die ontstaat wanneer je als leraar niet goed (meer) weet hoe je moet handelen in een bepaalde situatie, terwijl de situatie daar wel om vraagt. Stel dat je merkt dat in klas X pestgedrag voorkomt en je eigenlijk niet weet hoe je daar mee om moet gaan, of dat je moeite hebt om in klas Y orde te houden. Dat vraagt om het systematisch, stapsgewijs analyseren van het probleem, oftewel het doen van onderzoek. Omdat je de kennis die je tijdens de verschillende fasen van het onderzoek opdoet direct omzet in potentiële verbeteracties in de praktijk, wordt dit type onderzoek ook wel ‘actieonderzoek’ genoemd.
In handelingsonderzoek is het de onderzoeker de leraar LO zelf die zijn eigen handelen in de beroepspraktijk onderzoekt. Omdat het onderzoek daarmee betrekking heeft op één specifieke klas, groep of zelfs leerling wordt handelingsonderzoek ook wel gezien als bijzondere vorm van casestudy. Daarbij is ‘case’ Engels voor ‘geval’ of ‘casus’. Alleen kan een casestudy zich eventueel beperken tot enkel het beantwoorden van een beschrijvingsvraag. Bijvoorbeeld ‘Hoe is het gesteld met het pedagogisch klimaat in de lessen LO van de brugklassen op school X’. Bij een handelingsonderzoek wordt ook altijd overgegaan tot weloverwogen acties om de situatie in de beroepspraktijk positief te beïnvloeden. Dus bijvoorbeeld het verbeteren van het pedagogisch klimaat in de les LO.
Het mag duidelijk zijn dat de generaliseerbaarheid van dit type onderzoeken minimaal is: het geldt met name voor een bepaalde persoon in een bepaalde context en is erop gericht om de bestaande situatie te verbeteren. Handelingsonderzoek is handeling en onderzoek ineen. Doordat je systematisch aan de slag gaat met observeren, analyseren, ontwikkelen, uitproberen, documenteren en evalueren verbeter je op een onderzoeksmatige manier je praktijkhandelen als leraar LO.
Op OnderzoekLO.nl vind je over elke stap van de onderzoeks-cyclus verdere informatie die je kunt gebruiken bij je handelingsonderzoek. En bij de stap ‘onderzoek opzetten’ vind je onder de knop handelingsonderzoek nog meer specifieke informatie over wat er komt kijken bij het ontwerpen van een handelingsonderzoek.
Wanneer een onderzoek gericht is op het ontwerpen van een product of dienst, dan wordt gesproken over een ontwerponderzoek. De output van dit type onderzoek kan dan bijvoorbeeld een nieuw leerplan doelspelen, workshop, vakwerkplan, beoordelingsinstrument of een toolbox motorisch leren zijn. Dit ontwerpproces moet echter wel op systematische wijze verlopen willen we spreken over ontwerponderzoek. Het product komt in een ontwerponderzoek tot stand via een iteratief proces (een proces van herhaling) waarbij verschillende onderzoeksfasen uit de onderzoeks-cyclus steeds opnieuw worden doorlopen (zie figuur 1).
Ook dit onderzoek start uiteraard met een aanleiding. Dat kan bijvoorbeeld zijn dat een vaksectie LO met een nieuwe didactische aanpak wil beginnen. Je moet jezelf dan eerst verdiepen in de al aanwezige kennis, inzichten en/of methoden. Je probeert er zo achter te komen aan welke eisen het product dat ontwikkeld gaat worden moet voldoen. Daarvoor moet je ook de beoogde gebruikers betrekken, in dit geval de vaksectie waar het voor is bedoeld. Dat levert uiteindelijk een duidelijke en concrete onderzoeksdoelstelling op. Per onderzoeks-cyclus stel je vervolgens onderzoeksvragen op. Die opeenvolgende cycli worden vaak steeds groter qua onderzoeksopzet. Maar je kunt dezelfde soort onderzoeksinstrumenten en -technieken gebruiken als bij de andere typen onderzoek. Tot slot is het bij een ontwerponderzoek misschien nog wel meer van belang dan bij andere typen onderzoek, dat er aandacht wordt gegeven aan het delen en implementeren van de opbrengsten. Wanneer het product of de dienst een verbetering is van de praktijk, wil je natuurlijk ook dat het gebruikt gaat worden!
Op OnderzoekLO.nl vind je over elke stap van de onderzoeks-cyclus verdere informatie die je kunt gebruiken bij je ontwerponderzoek. En bij de stap ‘onderzoek opzetten’ vind je onder de knop ontwerponderzoeknog meer specifieke informatie over wat er komt kijken bij het ontwerpen van een ontwerponderzoek.
Wanneer je de bruikbaarheid en effectiviteit van een bestaande aanpak, methode, instrument of strategie wilt vaststellen, dan is een interventieonderzoek vaak het meest geschikt. Een interventie is een doelbewuste ingreep om iets te verbeteren. Bij deze vorm van onderzoek ga je in de bestaande beroepspraktijk iets veranderen om vervolgens vast te stellen welke gevolgen deze ingreep heeft.
Bij dit type onderzoek ga je zo gecontroleerd mogelijk experimenteren met jouw ideeën om te kijken wat er werkt en wat niet. Een goed voorbeeld van interventie onderzoek is te vinden in de verhaallijn van Danique. Zij is geïnspireerd geraakt bij een workshop over turnlessen in het VO. Ze vraagt zich af of technieken die worden gebruikt in het VO ook gebruikt kunnen worden in het PO. Specifiek wil ze graag weten of het gebruik van dwangstellingen tot betere leerresultaten leidt bij springen en over de kop gaan vanuit de trampoline dan wanneer deze dwangstellingen niet worden gebruikt bij leerlingen van groep 7 en groep 8. Het antwoord op deze vraag ontstaat uit een goed ontworpen vergelijking tussen een groep leerlingen die werkt met dwangstellingen en een groep leerlingen die niet werkt met dwangstellingen. Het antwoord op de onderzoeksvraag ontstaat aan het einde van het onderzoek en geeft informatie over het succes van de verandering die je hebt willen toepassen (= interventie).
In figuur 1 zie je een mogelijke opzet voor een interventieonderzoek. Zo’n onderzoek start eigenlijk altijd met een voormeting, ook wel nulmeting genoemd. Je wil namelijk weten in hoeverre de interventie- en controlegroep bij aanvang hetzelfde zijn. Afhankelijk van de duur van je interventie, kun je tussentijds een tussenmeting doen, om te kijken hoe snel er een eventueel effect optreedt. Aan het einde doe je een nameting om het effect over de gehele interventieperiode te bepalen. Wanneer je ook geïnteresseerd ben om te weten of het eventuele effect van de interventie een bepaalde tijd aanhoudt, dan kun je na een vooraf bepaalde tijd misschien nog een zogenaamde ‘retentiemeting’ doen.
Figuur 1: Mogelijke onderzoeksopzet voor een interventieonderzoek.
Om de onderzoeksvraag in een interventieonderzoek zo goed mogelijk te beantwoorden moeten de groepen wel zo veel mogelijk op elkaar lijken. Stel dat je kijkt naar het effect van bewegend leren op de concentratie van leerlingen. Dan zou het best zo kunnen zijn dat leerlingen in de onderbouw daar anders op reageren dan leerlingen in de bovenbouw. Immers, het concentratievermogen van jonge kinderen is waarschijnlijk anders dan dat van oudere kinderen. Ook zijn jonge kinderen meestal actiever van zichzelf, dan oudere. Bij het vergelijken van een interventiegroep met een controlegroep moet je in dit geval dus zorgen dat je niet een interventiegroep hebt met bovenbouwleerlingen, en een controlegroep met onderbouwleerlingen.
Ook wil je dat de ‘behandeling’ die de leerlingen krijgen, behalve de interventie zo min mogelijk van elkaar verschilt. Stel dat, in ons voorbeeld van bewegend leren, de controlegroep in de onderzoeksperiode toevallig net een paar proefwerken heeft en de interventiegroep niet. Het leren voor en maken van die proefwerken, kan best wel eens invloed hebben op de concentratie. Zo kan het gebeuren dat je wel een verschil ziet tussen je twee groepen, maar dat dit helemaal niet komt door jouw interventie!
In een interventieonderzoek wordt relatief vaak een kwantitatieve meting gedaan, omdat je het effect ergens van wilt meten. Om dan een uitspraak te kunnen doen over de grootte van dat effect, kun je die effectgrootte berekenen. Ook zijn er manieren om uit te rekenen of het gevonden verschil waarschijnlijk toeval is, of niet. Dat laatste doen onderzoekers met statistische toetsen. Dat laatste is echter iets dat we op OnderzoekLO.nl buiten beschouwing laten.
Interventieonderzoek is in mindere mate gericht op de ontwikkeling van jou als docent of jouw onderwijs. Het levert niet zozeer een nieuw product op, maar verschaft vooral kennis over de werking en het effect van bepaalde (nieuwe) methodes. Interventieonderzoek kan ook onderdeel uitmaken van ontwikkelonderzoek. Stel dat je ontevreden bent over de ontwikkeling de vaardigheden van leerlingen binnen terugslagspelen. Je begint een ontwikkelonderzoek naar een effectievere manier om dit aan te bieden. Je start vanuit de literatuur, betrekt experts en stelt een eerste ontwerp samen dat je eerst voorlegt aan collega’s en een aantal leerlingen. Op basis daarvan maak je een tweede ontwerp waar iedereen tevreden over is. Dat zou best eens effectiever kunnen zijn dan de manier waarop je het voorheen aanpakte… maar je weet dit niet zeker. Dan kan het interessant zijn om een interventieonderzoek te starten met het door jou ontwikkelde product.
Een handelingsonderzoek komt vaak voort uit een handelingsvraag of uit zogenaamde ‘handelingsverlegenheid’. Dit is een situatie die ontstaat wanneer je als leraar niet goed (meer) weet hoe je moet handelen in een bepaalde situatie. Door op zoek te gaan naar kansrijke, alternatieve manieren van handelen en deze in de praktijk uit te proberen, wordt gezocht naar een oplossing. De in de praktijk uitgevoerde acties worden daarbij wel steeds goed gemonitord en geëvalueerd, om op basis daarvan weer bijstellingen te doen of nieuwe acties te kunnen bepalen. Net als bij ontwerponderzoek is er binnen dit type onderzoek dus sprake van een iteratief (zich herhalend) proces. Het verschil met ontwerponderzoek is echter dat er geen product of dienst wordt ontworpen, maar dat het handelen zelf wordt onderzocht. Uiteraard kan daarbij wel gebruik worden gemaakt van een bestaande (maar voor jou als leraar nieuwe) aanpak en kan deze worden aangepast aan de specifieke situatie.
De uitkomst van een handelingsonderzoek is dus steeds een nieuwe aanpak, oftewel een handelingsalternatief. Reflectie speelt daarbij een belangrijke rol. Jij bent als leraar immers het uitgangspunt van het onderzoek, en dus ook degene die zich steeds moet afvragen in hoeverre jouw ‘handelingsverlegenheid’ is verdwenen, en je voor jezelf een nieuwe, effectieve handelingspraktijk hebt ontwikkeld. Dat betekent ook dat het doen van een handelingsonderzoek rechtstreeks invloed kan hebben op de manier waarop je jouw werk uitvoert. In figuur 1 zie op een eenvoudige manier het iteratieve karakter, het belang van reflectie, en de invloed op de praktijk (‘nieuwe richting’) weergegeven.
Figuur 1. Schematische weergave van het iteratieve karakter van handelingsonderzoek.
Typisch voor het opzetten van handelingsonderzoek, is dat je niet altijd goed van tevoren kunt plannen hoe je onderzoek eruit moet komen te zien. Wanneer je een nieuwe aanpak uitprobeert in de praktijk, kan dat onverwachte effecten hebben. Stel dat je bijvoorbeeld een bepaald groepje leerlingen meer bij de les wilt betrekken, dan zou je kunnen merken dat dit ten koste gaat van een ander groepje. Dat kan betekenen dat je niet alleen je aanpak moet aanpassen, maar ook dat je misschien een onderzoeksinstrument moet toevoegen om voor de hele klas te monitoren of er geen negatieve bij-effecten zijn. Het kan ook tot gevolg hebben dat je jouw onderzoeksvraag (of handelingsvraag) moet bijstellen.
Omdat een handelingsonderzoek zo dicht bij de praktijk staat, en soms gedurende de uitvoering moet worden aangepast, dien je er extra voor te waken dat de aanpak zo veel mogelijk onderzoeksmatig blijft. En dat je dus alle onderdelen van de onderzoekscyclus blijft doorlopen. In figuur 2 zie je hoe dat er uit kan zien voor een handelingsonderzoek met drie cycli.
Bij praktijkonderzoek is de onderzoeker vaak dicht betrokken bij de uitvoering. Bij een handelingsonderzoek is dat al helemaal het geval: je bent tegelijk onderzoeker en onderzoeksdeelnemer. Dat brengt een gevaar met zich mee voor de betrouwbaarheid van je onderzoek. Het is namelijk moeilijk (of misschien wel onmogelijk) om helemaal objectief naar je onderzoek te kijken wanneer het uitgangspunt je eigen handelingsverlegenheid is.
Daarom is zorgen voor triangulatie bij het opzetten van een handelingsonderzoek van groot belang. Dit betekent dat er meerdere instrumenten gecombineerd worden, zodat je uit verschillende invalshoeken kijkt naar de effecten. Zo kun je bijvoorbeeld leerlingen een vragenlijstje laten invullen, een collega-leraar je lessen gericht laten observeren, een logboekje invullen na elke les én opnames van de les maken om later terug te kijken. Dit maakt de betrouwbaarheid van je onderzoek groter.
Een ontwerponderzoek is gericht op het ontwerpen van een product of dienst. Denk bijvoorbeeld aan een aanpak om meer bewegen op school te stimuleren, of een nieuw leerplan Bewegen en Muziek. De opzet van een ontwerponderzoek is anders dan dat van een ‘klassiek’ interventie-onderzoek. Het is een iteratief proces (een proces van herhaling) waarbij verschillende onderzoeksfasen uit de onderzoeks-cyclus steeds opnieuw worden doorlopen (zie figuur 1).
De uitvoeringsfase van een ontwerponderzoek kenmerkt zich door afwisselend ontwikkelen en evalueren. Nadat de onderzoeksdoelstelling en de ontwerpeisen zijn opgesteld (zie verderop), wordt er een eerste ‘prototype’-ontwerp gemaakt. Dit wordt onderzoeksmatig geëvalueerd en op basis daarvan bijgesteld tot een volgend ontwerp, dat weer wordt geëvalueerd, enz. Daarbij neemt de evaluatie in de loop van het onderzoek vaak toe in omvang (figuur 2).
Figuur 2 Voorbeeld van stappen in de ontwikkel- en evaluatiefase, van onder naar boven.
Het eerste prototype is vaak een ontwerp op hoofdlijnen, een soort ruwe schets, die bijvoorbeeld kan worden voorgelegd aan experts. Dit leidt dan tot een lijst met verbeterpunten en ontwikkelsuggesties, waarmee een tweede prototype kan worden ontwikkeld. Vervolgens worden er nog een aantal cycli van ontwikkeling en evaluatie doorlopen, waarbij bijvoorbeeld experts, leraren en leerlingen worden betrokken. Een laatste cyclus is in het ideale geval het grootschaliger testen van het (eind)product of de interventie op effectiviteit, in de context waarin het gebruikt zou moeten gaan worden (bijvoorbeeld een leerplan met meerdere klassen). Dit wordt ook wel een try-out genoemd.
Ontwerpeisen
Voordat je bij een ontwerponderzoek een eerste ‘prototype’ -ontwerp kunt maken, moet je achterhalen aan welke ontwerpeisen dit ontwerp moet voldoen. Er zijn verschillende soorten ontwerpeisen: functionele eisen, gebruikerseisen, randvoorwaarden en ontwerpprincipes. Deze komen voort uit de volgende analyses, die naast elkaar kunnen verlopen:
Behoefteanalyse: beschrijven van het verschil tussen de gewenste situatie en de huidige situatie. Daarbij moet het bereiken van de gewenste situatie een duidelijke verbetering van het onderwijs opleveren. De behoefteanalyse leidt uiteindelijk tot het formuleren van:
Functionele eisen oftewel wat moet het ontwerp doen, wat moet het opleveren voor de gebruiker(s)2. Deze worden ook wel ontwerpcriteria genoemd1.
Gebruikseisen oftewel waar moet het in gebruik aan voldoen, bijvoorbeeld op gebied van gebruikersvriendelijkheid, begrijpelijkheid, enz.
Contextanalyse: een analyse van de omgeving waarin het ontwerp gebruikt moet gaan worden. Hiermee wordt in kaart gebracht of de gewenste situatie haalbaar is, dit leidt tot:
Randvoorwaarden, dit zijn eisen die niet door de ontwerper te beïnvloeden zijn en waar het ontwerp onvoorwaardelijk aan moet voldoen. Dat kunnen ‘harde’ randvoorwaarden zijn zoals tijd en geld, maar ook voorwaarden zoals ‘acceptatie door de vaksectie’ of ‘passen binnen de onderwijsvisie van de school’.
Bronnen-analyse: door middel van het lezen van literatuur en het raadplegen van experts wordt er een theoretisch kader ontwikkeld. Daarin staat wat er al bekend is over het onderwerp, en welke aanwijzingen dat geeft voor het eerste ontwerp. Ook het bestuderen van voorbeelden waarvan bekend is dat ze effectief zijn (‘good practices’), kan tot de bronnen-analyse horen. Dit levert uiteindelijk:
Ontwerpprincipes, dit zijn de eigenschappen waaraan je ontwerp volgens de bronnen-analyse moet voldoen om effectief te zijn.
Tijdens het ontwerpen is het belangrijk om doorlopend te controleren of je aan de ontwerpeisen voldoet. Maar ook terugkijkend op je onderzoek moet je bepalen of tijdens het gebruik van het ontwerp (of de uitvoering van de interventie), de ontwerpeisen overeind zijn gebleven.
Kwaliteitseisen en onderzoeksmethoden
Tijdens een ontwerponderzoek probeer je vooral te evalueren of je ontwerp voldoet aan bepaalde kwaliteitseisen. In de verschillende cycli van een ontwerponderzoek verschuift de focus van de evaluatie van kwaliteitsaspecten als relevantie, begrijpelijkheid, ontwerpfouten en ‘voldoen aan de ontwerpeisen’, naar bruikbaarheid en effectiviteit (zie tabel 1). Afhankelijk van de focus van de cyclus worden de meest passende evaluatiemethoden en onderzoeksinstrumenten gekozen (tabel 2).
Met tabel 1 en 2 kun je in feite een onderzoeksopzet voor een ontwerponderzoek maken. Tabel 1 laat je zien waarnaar je onderzoek kunt doen, tabel 2 hoe je dit onderzoek kunt aanpakken. Bijvoorbeeld:
In cyclus 2 van haar onderzoek wil Darnisha weten of de vaksectie vindt dat haar ontwerp voor een nieuw leerplan Stoeispelen logisch in elkaar zit (tabel 1: consistentie), en of ze verwachten dat het leerplan bruikbaar is voor de onderbouw van de havo (tabel 1: verwachte bruikbaarheid). Darnisha gaat dit onderzoeken door het ontwerp met de zes leden van de vaksectie te bespreken in een focusgroep-interview (tabel 2: bespreken).
In cyclus 3 van zijn onderzoek wil Cody weten of zijn bijgestelde ontwerp voor een beoordelings-rubric ‘inblijf- en uitmaakspelen’ bruikbaar is in de praktijk van basisschool De Vuurvlinder (tabel 1: werkelijke bruikbaarheid). Cody gaat daarom een eerste praktijktest doen door een opname te maken van een les slagbal en vervolgens enkele leerlingen door twee vakdocenten LO te laten beoordelen met de rubric. Hij bespreekt de uitkomsten en ervaringen met elke vakdocent in een interview (tabel 2: micro-evaluatie).
Meer weten over het opzetten van ontwerponderzoek?
Het evaluatie-matchboard van de SLO. Dit is een overzicht van de stappen die je achtereenvolgens kunt zetten in een ontwikkelonderzoek gekoppeld aan de mogelijkheden die je per stap hebt qua meetinstrumenten. Zeer handig!
Het artikel ‘Onderzoekmatig onderwijs ontwikkelen‘ van Lars Borghouts en Gwen Weeldenburg over gebruik van ontwikkelonderzoek binnen het vak LO.
