Aanleiding
Verkenningp
Onderzoeksvragen
Onderzoeksopzet
Gegevensverzameling
Analyse
Discussie
Presentatie & Implementatie

De onderzoekende docent LO

Waarom moet ik als leraar LO onderzoek doen en dus beschikken over onderzoeksvaardigheden?

De onderzoekscyclus

middle-reuse
1. Aanleiding
2. Verkenning
3. Onderzoeksvragen
4. Onderzoeksopzet
5. Gegevensverzameling
6. Analyse
7. Discussie
8. Presentatie & Implementatie

Welk type onderzoek ga jij doen?

Ontwerponderzoek Handelingsonderzoek Interventieonderzoek

Meten van motoriek & fitheid

Wanneer je een uitspraak wilt doen over de motoriek of fitheid van leerlingen (of leraren…) dan staan je een behoorlijk aantal uitgebreid onderzochte testen ter beschikking.

Voor fitheid zijn er hele testbatterijen als de Eurofit-test, de Moper-fitheidstest en het in de VS veel gebruikte Fitnessgram. Voor een handig overzicht van beschikbare testen, zie Vrijkotte, De Vries & Jongert (2007). Maar ook een Coopertest of shuttle-runtest zijn vormen van fitheidstesten. Het hangt helemaal af van je operationalisatie van het begrip fitheid. Meestal verstaat men daaronder het geheel van de zogenaamde grondmotorische eigenschappen: uithoudingsvermogen, snelheid, kracht, lenigheid en coördinatie. Dat geeft al aan dat je vaak meerdere testen moet doen om iemands fitheid goed in kaart te brengen. Maar dan nog kan iemand een beter uithoudingsvermogen hebben op de fiets dan lopend, of leniger zijn in de schouders ten opzichte van de hamstrings of onderrug. Bij het kiezen van een fitheidstest moet je dus goed bedenken in welke fitheid je precies bent geïnteresseerd, en daar de passende test bij zoeken. In onderzoeksliteratuur, zoals het eerder genoemde overzicht, vind je vervolgens informatie over de betrouwbaarheid van de testen.

De Eurofit test

Ook voor motorische testen geldt: er zijn er aardig wat beschikbaar, en je moet zelf bedenken in welke motorische aspecten je geïnteresseerd bent. Wanneer je een interventie wilt doen om de balcontrole-vaardigheden te vergroten van leerlingen, dan is het weinig nuttig om een motorische test te kiezen die de balans meet. En evenals bij fitheidstesten moet je bedenken of je een enkele test wilt doen, of een hele testbatterij wilt afnemen. Bekende voorbeelden van testbatterijen zijn Movement ABC en de verschillende versies van de MOBAK (Herrmann & Seelig, 2017). Hiervan afgeleid werd er aan de HAN een voor de LO geschikte motorische test ontwikkeld: de HAN beweegtest. Aan de HALO in Den Haag werd een vergelijkbare test ontwikkeld, met een andere insteek: het Athletic Skills Beweegparcours.

Athletic Skills Track – een voor de LO docent bruikbare test om motoriek in kaart te brengen.

Al deze testen hebben hun voor- en nadelen (Cools e.a., 2009), maar het belangrijkste is dat je ze inhoudelijk beoordeeld: in hoeverre passen ze bij jouw onderzoeksvraag? Is het logisch dat ze een verandering zouden kunnen meten van jouw interventie? Enz. enz.

Voor zowel fitheids- als motorische testen bestaan er meestal zogenaamde ‘normtabellen’ die aangeven wat een persoon van een bepaalde leeftijd typisch zou moeten kunnen presteren. Vaak zijn er ook grenzen aangegeven die geschikt zijn om vast te stellen of er duidelijk boven- of ondergemiddeld wordt gescoord. Daarmee wordt bijvoorbeeld geprobeerd om achterstanden in motoriek op te sporen. Daarbij wordt echter nog wel eens uit het oog verloren dat met name bij kinderen, de motoriek volop in ontwikkeling is, en dat deze ontwikkeling bovendien individueel en grillig kan verlopen (Cools e.a., 2009). Ook zijn normtabellen soms gebaseerd op kleine aantallen, en ingedeeld in te brede categorieën (van bijvoorbeeld twee jaar). Beschouw deze dus altijd kritisch.

Meten van fysieke activiteit

Een van de doelen van de LO is om kinderen voldoende te laten bewegen. Dus wanneer je een onderzoek doet dat er bijvoorbeeld op gericht is de fysieke activiteit van kinderen te verhogen, of in kaart te brengen, dan is het belangrijk om die hoeveelheid beweging ook te kwantificeren. Er zijn verschillende manieren om fysieke activiteit te meten, en allemaal hebben ze zo hun voor en nadelen.

Versnellingsmeters

Er zijn allerlei beweegmeters op de markt, van heel goedkope gericht op consumenten, tot zeer dure voor wetenschappelijk onderzoek. Veruit de meerderheid maakt gebruik van versnellingsmeters (accelerometers) die een beweging kunnen waarnemen en omzetten in een electronisch signaal. Net zoals je smartphone kan waarnemen dat je hem van ‘rechtop’ naar ‘liggend’ draait. Sterker nog, ook dat gebeurt op basis van versnellingsmeters. Er zijn dan ook smartphone-apps die je telefoon veranderen in een beweegmeter. Ook zijn er veel sporthorloges die zijn uitgerust met deze meters, en op basis daarvan (en eventueel je hartslag) bijvoorbeeld proberen je energieverbruik te berekenen. De betere apparaatjes meten versnellingen rondom drie assen (omhoog/omlaag, voor/achter, en links/rechts). Ze meten dus niet de snelheid van beweging, maar alleen veranderingen in snelheid: versnellingen (of vertragingen) dus. Door deze signalen slim te verwerken, komt er vervolgens een maat uit voor de hoeveelheid beweging, meestal in zogenaamde ‘counts’. Nadeel is dat elke fabrikant die counts anders berekent, en dat het geen gemakkelijk te begrijpen maat is, zoals energieverbuik. Dat betekent dat je eigenlijk alleen metingen met dezelfde versnellingsopnemers rechtstreeks met elkaar kunt vergelijken.

Een ander nadeel is dat versnellingsopnemers lopen met hoge snelheid vaak onderschatten, qua hoeveelheid activiteit, en dat een activiteit als fietsen er meestal niet goed mee kan worden geregistreerd. Je kunt er dus wel objectief mee meten, maar je moet je ervan bewust zijn dat niet alle vormen van bewegen even goed worden opgepikt.

Ook maakt het behoorlijk veel uit met welke frequentie het apparaatje meet, over hoeveel seconden (of minuten) de gegevens worden gemiddeld, en op welke plek op het lichaam het precies gedragen wordt. Kortom, wanneer je gebruik maakt van deze methode dan is het verstandig er een expert bij te halen.

Voordelen:

  • Accurate manier om fysieke activiteit te meten (zeker met 3-assige versnellingsmeters)
  • Klein, licht en makkelijk te dragen

Nadelen:

  • Versnellingsmeters voor wetenschappelijke doeleinden zijn relatief duur en lastig in gebruik
  • Resultaten vanuit verschillende typen versnellingsmeters zijn niet goed te vergelijken.
  • Onderschatting bij bewegen met hoge snelheid, fietsen wordt niet goed geregistreerd.

Stappentellers

Stappentellers kun je los kopen, maar zijn ook te installeren op je telefoon. De Engelse term is pedometer (met de klemtoon op “do” en niet op “pe”, grapjas). Een goede stappenteller(app) kan vrij nauwkeurig het aantal stappen meten dat je zet, meestal per dag. Al het andere dat een stappenteller rapporteert aan gegevens, is vaak minder betrouwbaar. Zo is het aantal gelopen kilometers natuurlijk erg afhankelijk van de paslengte (en die varieert). Laat staan dat een stappenteller iets kan zeggen over de hoeveelheid calorieën die je hebt verbruikt. Gebruik een stappenteller dus waarvoor deze bedoeld is: het aantal stappen. Stel dat je een interventie onderzoekt met als doel om kinderen meer (naar school) te laten wandelen, dan is een voor- en nameting met een stappenteller helemaal niet zo gek. Probeer echter ook hier wel eerst te achterhalen hoe betrouwbaar de meting is, en waar je de stappenteller of telefoon moet dragen voor het beste resultaat.

Voordelen:

  • Goedkoop, makkelijk te verkrijgen
  • Klein, licht en makkelijk te dragen
  • Geschikt voor globaal inzicht in de hoeveelheid beweging op een dag.

Nadelen:

  • Geen nauwkeurige meting van fysieke activiteit (energieverbruik)

Zelfrapportage

Zelfrapportage van de hoeveelheid bewegen kan met vragenlijsten of logboeken.

In een logboek noteer je bijvoorbeeld elk half uur wat je aan beweging hebt gedaan. Je begrijpt dat dit nogal ingrijpend is, en dat je moet zorgen dat je dit niet vergeet (bijvoorbeeld door een alarm in te stellen). Ook is er een risico dat je door het invullen van een logboek, je jezelf zo bewust wordt van je fysieke activiteit, dat je vanzelf meer gaat bewegen. Logboeken worden dan ook niet heel veel toegepast. Ze kunnen echter wel geschikt zijn om te weten op welke momenten of in welke omstandigheden mensen bewegen; je kunt dat namelijk allemaal laten noteren. De combinatie van een logboek en een vesnellingopnemer is wat dat betreft ook een interessante (maar bewerkelijke) optie (zie Slingerland, Borghouts & Hesselink, 2012). Er zijn ook korte globale vragenlijsten, die bijvoorbeeld navragen hoe veel uur je gemiddeld beweegt, er zijn wat langere vragenlijsten die specifiek vragen naar een aantal activiteiten in de afgelopen week, en er zijn uitgebreide vragenlijsten die gedetailleerd vragen naar de hoeveelheid beweging in verschillende omstandigheden en/of momenten van de week of het jaar. Er zijn ontzettend veel fysieke activiteitenvragenlijsten ontwikkeld en beschikbaar. Dat is het goede nieuws. Het slechte nieuws is: helaas zijn er niet of nauwelijks fysieke activiteit-vragenlijsten voor voor met name kinderen, die met zekerheid zowel betrouwbaar als valide genoemd kunnen worden (Chinapaw e.a., 2010, Silsbury, Goldsmith & Rushton, 2015).

Je snapt dat het zelf rapporteren van hoe veel je beweegt best lastig is, zeker voor jonge kinderen. Daarom moet je rekening houden met de volgende punten, bij het kiezen van een vragenlijst:

  • Als je nauwkeurige specifieke info wilt over duur, frequentie enz., moet je niet te lang terug vragen. De afgelopen week is vaak al lastig genoeg.
  • Vraag geen al te specifieke informatie voor ongestructureerde activiteiten. Je kunt bijvoorbeeld niet goed inschatten hoeveel je beweegt met ‘door het huis scharrelen’ als je vrij bent.
  • Gebruik eventueel contextuele vragen om schattingen te verbeteren. Mensen vergeten nog wel eens hele categorieën van activiteit, bijvoorbeeld wandelen tijdens het werk. Door daar specifiek naar te vragen voorkom je dat. Nadeel: je moet meer vragen stellen.
  • De vragen moeten makkelijk te begrijpen zijn, dus let op geschikt taalgebruik voor de doelgroep, de vragen moeten precies zijn over wat je wilt weten, en één ding tegelijk vragen.
  • Gesloten vragen zijn vaak sneller, beter geschikt voor minder taalvaardige leerlingen, en makkelijker te verwerken voor de onderzoeker.
  • Ook bij vragenlijsten voor fysieke activiteit moet een heel duidelijke invulinstructie zitten , gericht op de doelgroep.

Ten slotte is het belangrijk dat je weet hoe je uit de ingevulde vragenlijsten de uiteindelijke uitkomstmaten moet berekenen. Bij een goede vragenlijst is hiervoor een protocol beschreven.

Voorbeeld vragenlijsten: iPAQ short en iPAQ long. En het bijbehorende protocol voor dataverwerking.

Observeren

Observeren is meer dan kijken. Kijken wordt pas observeren wanneer het systematisch gebeurt. En wanneer je weet waarnáár je moet kijken. En wat daarvoor nodig is, is een goed observatie-instrument en goede observatoren. Er mag zo min mogelijk ruimte zijn voor subjectiviteit. Over onderzoeksinstrumenten is het al eerder gegaan, maar waar let je op tijdens de uitvoering van een observatie?

  • Live of video?

    Een voordeel van ‘live’ observeren, oftewel observeren terwijl ‘het gebeurt’, is dat je meteen klaar bent. Stel dat je een les observeert, dan is aan het eind van de les de observatiedata verzameld. Een ander voordeel is dat de observator een goed plekje kan zoeken om te observeren, en zich nog kan verplaatsen gedurende het observeren. De nadelen? Kijk maar eens naar de voordelen van observeren op video: je kunt de video-observatie doen wanneer het je uitkomt, je kunt makkelijk met meerdere mensen observeren voor het controleren van de interbeoordelaars-betrouwbaarheid, je kunt altijd een stukje terug wanneer je iets hebt gemist, je kunt de video steeds even stilzetten om je observatie-instrument in te vullen (of naar de wc te gaan), wanneer je later een nieuw observatie-idee hebt kunt je opnieuw observeren, … enz. Kortom, er zijn veel voordelen van observeren op video. De nadelen? Je hebt geschikte camera’s nodig die de hele observatieruimte in beeld brengen, en opnames kunnen mislukken. Maar als je dat onder controle hebt, heeft video-observatie dus meestal de voorkeur.

  • Goede observatie-items.

    Sommige dingen kun je eenvoudig turven, bijvoorbeeld hoe vaak er wordt gescoord, of hoe vaak een leraar het spel onderbreekt. Andere zaken zijn lastiger, bijvoorbeeld wanneer je wilt observeren of een leraar motiverend lesgeeft. In dat laatste geval is vooral je operationalisatie weer van groot belang. Dus bijvoorbeeld: wat is motiverend lesgeven, en hoe zie ik dat dan in de les? Zie dit voorbeeld voor een uitwerking.

  • Observeren moet je leren.

    Telkens opnieuw zelfs. Tenzij het eenvoudig turven is van doelpunten en dergelijke, moet je elk observatie-instrument waarmee je voor het eerst gaat werken oefenen. Daarbij is het gebruikelijk om met meerdere observatoren onafhankelijk een aantal dezelfde (video) observaties te doen, en te bekijken waar de overeenkomsten en vooral verschillen zitten. Hierover ga je met elkaar in gesprek, om te komen tot overeenstemming. Soms leidt dit ook tot bijstellingen van of toevoegingen aan het observatie-instrument. Daarna doe je indien nodig nieuwe observaties en controleer je of de mate van overeenstemming acceptabel is. Vaak wordt deze mate van overeenstemming ook gerapporteerd bij de onderzoeksmethoden.

Bestaande, gevalideerde observatie-instrumenten bevatten vaak een protocol waarin staat uitgelegd hoe een en ander moet worden uitgevoerd. Zie bijvoorbeeld hieronder de veelgebruikte observatie instrumenten SOFIT en SOPLAY en SOPARC, voor het observeren van fysieke activiteit in respectievelijk de gymles en op het schoolplein.

Onderstaande video is een introductie op de observatie methode SOFIT. Een geschikte methode om fysieke activiteit in een bepaalde beweegcontext in kaart te brengen.

Introductie op de observatie methodes SOPLAY en SOPARC. Een geschikte methode om bewegen op het schoolplein of in parken in kaart te brengen.

 

Een vragenlijst afnemen

Papieren Vragenlijst:

Hoewel er steeds meer mogelijkheden zijn om vragenlijsten online af te nemen, is het in veel omstandigheden nog nodig om de ouderwetse papieren methode te gebruiken. Soms wil je bijvoorbeeld direct na een gymles leerlingen een vragenlijst laten invullen. Je hebt dan meestal niet de beschikking over (genoeg) computers, en een wat uitgebreidere vragenlijst invullen op een mobiele telefoon is ook niet handig. Waar moet je op letten bij het afnemen van zo’n vragenlijst? We gaan hier steeds uit van het voorbeeld van leerlingen in een gymzaal, maar uiteraard is dit ook toe te passen op andere situaties.

  • Zorg voor voldoende materialen.

    Neem altijd iets meer vragenlijsten mee dan je verwacht nodig te hebben. Het kan altijd voorkomen dat er per ongeluk een bladzijde scheurt, er toch meer leerlingen zijn dan verwacht, er een kop koffie overheen gaat, enz. Neem ook pennen mee (die het doen!), want lang niet elke leerling heeft een werkende pen bij zich, en al zeker niet in de gymles.

  • Zorg dat de vragenlijst rustig en onafhankelijk ingevuld kan worden.

    Over het algemeen wil je dat een vragenlijst individueel ingevuld wordt, en dat de antwoorden dus niet worden beïnvloed door anderen. Leerlingen (maar ook leraren…) hebben de neiging om te gaan overleggen over de vragenlijst, elkaar af te leiden, bij elkaar te kijken wat voor antwoord ze geven, enz. Het is dus aan te raden om ze fysiek uit elkaar te zetten, bijvoorbeeld door ze te verspreiden door de gymzaal of het lokaal. Ook moet je zorgen voor stilte, zodat er zo min mogelijk afleiding is. Bedenk ook: gehaast invullen is onbetrouwbaar invullen. Plan daarvoor dus ruim de tijd, en hou je strak aan die planning! De voorafgaande les mag bijvoorbeeld niet uitlopen ten koste van de invultijd. Het is zeker aan te bevelen om je vragenlijst vooraf uit te testen met een groepje dat vergelijkbaar is met je onderzoeksgroep, om een idee te krijgen van de tijd die het invullen werkelijk kost. Realiseer je daarbij dat bijvoorbeeld een onderbouw vmbo-klas meer tijd nodig zal hebben dan een bovenbouw vwo-klas.

  • Houd rekening met leesproblemen.

    Leesproblemen als dyslexie komen relatief vaak voor, en je wilt liefst ook van deze leerlingen (betrouwbare) antwoorden. Stel je dus vooraf op de hoogte, indien mogelijk, van de aanwezigheid van leesproblemen in je onderzoekspopulatie. Hou er rekening mee dat deze leerlingen vaak meer tijd nodig hebben, of zelfs iemand die de vragen voor ze voorleest. Weeg af of dit soort maatregelen te realiseren zijn, of het je resultaten kan beïnvloeden wanneer je ze niet neemt of deze leerlingen weglaat, enz.

  • Leg vooraf uit wat de bedoeling is.

    Meestal begin je een vragenlijst met uitleg. Wat is het doel ervan, hoe moet hij worden ingevuld, is de vragenlijst anoniem, wat gebeurt er met de gegevens? Hoe beter je de leerlingen ervan kunt overtuigen dat het belangrijk is dat ze de vragen goed en serieus invullen, hoe betrouwbaarder de gegevens. Indien mogelijk, is het daarom aan te raden om dit ook mondeling voorafgaand aan het invullen toe te lichten. Probeer, indien mogelijk, de leerlingen uit te leggen wat voor hen het belang is van het invullen. Bijvoorbeeld dat met de gegevens van de vragenlijsten uiteindelijk hun gymlessen leuker en beter worden.

  • Zorg voor een duidelijke invul-instructie en lay-out.

    Wanneer de invulinstructie niet duidelijk is, loop je kans dat je een hoop ingevulde vragenlijsten weg kunt gooien, of dat de gegevens onbetrouwbaar zijn. Hetzelfde geldt voor de lay-out. Het is nogal van belang dat een leerling bijvoorbeeld niet door elkaar kan halen dat ‘1’ betekent ‘helemaal oneens’ en dat ‘5’ betekent ‘helemaal eens’. Hier zie je een voorbeeld van een goede en een slechte instructie en layout.

  • Controleer eventueel essentiële gegevens.

    Wanneer je bijvoorbeeld een voor- en nameting doet, is het vaak handig om achteraf de vragenlijsten op individueel niveau te kunnen paren (zeker als je statistiek zou willen doen). Dan moet de naam (of ander uniek kenmerk) dus ingevuld zijn. Ook al verwerk je de gegevens na invoering anoniem, bijvoorbeeld door elke naam te vervangen door een unieke code. En wanneer je een onderzoeksvraag hebt over  verschillen tussen jongens en meisjes, is het dus nodig dat het geslacht is ingevuld. In dit soort gevallen kun je ervoor kiezen bij de inname van elke vragenlijst te controleren of de essentiële gegevens zijn ingevuld. Alternatief kun je bijvoorbeeld na klassikaal invullen, wachten tot iedereen klaar is, en dan vragen of iedereen zijn naam/geslacht/… heeft ingevuld.

Online Vragenlijst:

Bijna alle punten die voor het maken en afnemen van een papieren vragenlijst gelden, gelden net zo goed voor een digitale. Er zijn echter een paar specifieke aandachtspunten:

  • Diverse websites

    Er zijn verschillende websites die je mogelijkheid bieden om online digitale vragenlijsten op te stellen en af te nemen. Voorbeelden zijn Survio, SurveyMonkey en ThesisTools. Een andere optie is Google Forms, onderdeel van Google Drive. De meeste sites bieden een gratis basismogelijkheid, en de optie om tegen betaling meer of geavanceerdere enquêtes af te nemen. Het is natuurlijk zonde wanneer je jouw enquete hebt uitgezet onder een grote groep leerlingen wanneer blijkt dat de gratis versie beperkt is tot maximaal 50 ingevulde enquetes. Als je nog geen ervaring hebt met online vragenlijsten, test dan altijd vooraf verschillende opties uit om te kijken welke het meest geschikt is voor jouw doeleinden. Let er bijvoorbeeld op of er al kant-en-klare sjablonen zijn die passen bij jouw wensen, dat scheelt veel tijd.

  • Kijk ook naar de output.

    Het is natuurlijk leuk wanneer je snel een heel mooie enquête online kunt zetten, maar controleer ook vooraf hoe je bij de ingevulde gegevens komt. En hoe deze eruit komen te zien. Wat in ieder geval van het grootste belang is, is dat je álle ruwe gegevens kunt downloaden. Dus niet alleen een samenvatting, gemiddelden, of een bewerkte versie in de vorm van grafieken en dergelijke. Je wil van elke ‘respondent’ (iemand die de vragenlijst heeft ingevuld) alle ingevulde antwoorden kunnen zien, liefst in een overzichtelijk bestand dat te openen is in een programma zoals Excel. Probeer ook dit dus uit, of achterhaal het op zijn minst, voor je tot een definitieve keuze komt voor een online tool.

  • Controleer de flexibiliteit.

    Sommige online vragenlijsten werken prima op Windows met de ene browser, maar slecht op Mac met een andere (of zelfs dezelfde) browser. Of ze werken prima op een computer, maar niet zo goed op een tablet of telefoon. Afhankelijk van hoe en wanneer je de vragenlijst wil laten invullen, kan het belangrijk zijn om dit vooraf goed te checken.

  • Hoe ga je verspreiden?

    De meeste aanbieders bieden je de mogelijkheid om een link aan te maken die je kunt verspreiden, waarmee je de vragenlijst kunt gaan invullen. Wanneer je niet wilt dat iedereen zomaar jouw vragenlijst invult, moet je goed bedenken hoe je daarmee omgaat. Maak je één link aan en zet je die ergens openbaar neer? Of maak je meerdere links (bijvoorbeeld per klas), en stuur of geef je die persoonlijk? Deze laatste is de meest betrouwbare en veilige optie, maar kost ook iets meer werk. Het is dus afhankelijk van de opzet van jouw onderzoek wat de voorkeur heeft.

  • Denk na over de invulopties.

    Vaak zijn er verschillende instellingen te maken. Vragen waar je over na kunt denken, afhankelijk van de opties die je hebt, zijn: mag iedere respondent de vragenlijst maar één keer invullen? Kan de vragenlijst tijdens het invullen worden onderbroken en opgeslagen of niet? Mogen er vragen worden overgeslagen? Mag je tijdens het invullen terug naar een vorige vraag? Krijgt de respondent zelf alle antwoorden nog een keer te zien aan het eind? Enz. enz.