Docentonderzoek binnen de AOS Bijeenkomst 8 Feedbackformulier bij het onderzoeksinstrument

Transcriptie

1 Docentonderzoek binnen de AOS Bijeenkomst 8 Feedbackformulier bij het onderzoeksinstrument Het doel van deze opdracht is nagaan of je instrument geschikt is voor je onderzoek. Het is altijd verstandig je instrument een keer voor te leggen aan anderen (een pilot te houden) alvorens het instrument te gebruiken. Je kunt dan nagaan of gebruik van het instrument de gegevens oplevert die je nodig hebt om jouw onderzoeksvraag te beantwoorden. Je kunt ook checken of het taalgebruik begrijpelijk en eenduidig is. Ook merk je tijdens een pilot of je instrument werkt in de praktijk. Vragen, stellingen, kijkpunten kunnen anders geïnterpreteerd worden als ze niet helder beschreven zijn. Door dit vooraf na te gaan, werk je aan de validiteit en betrouwbaarheid van je onderzoek. (Van der Donk & Van Lanen, 2012) De opdracht bestaat uit drie delen: 1. Kritisch de opbouw/verantwoording van het instrument analyseren 2. Een pilot houden en deze evalueren 3. Voorbereiden op de uitvoering 1. Kritisch de opbouw/verantwoording van het instrument analyseren Dit gedeelte van de opdracht heeft betrekking op de verantwoording van het instrument. Je gaat na of de inhoud van het instrument aansluit bij het praktijkprobleem, de onderzoeksvraag en de literatuurstudie. Uit de beschrijving van het instrument moet dit duidelijk worden. 1A. De keuze van een methode Welke methode (observatie, bevragen (interview, enquête), tekstbronnen bestuderen, bezoeken) heeft de onderzoeker gekozen om data te verzamelen? Is de gekozen methode het meest geschikt om de data te verzamelen? Krijgt de onderzoeker antwoord op de onderzoeksvragen met de verzamelde data? (Sluit het instrument aan bij de te beantwoorden onderzoeksvraag?)

2 1B. De respondenten Wie zijn de respondenten? Welke kenmerken (geslacht, leeftijd, leerjaar, afkomst, etc.) van de respondenten zijn relevant om na te gaan? Wordt de gehele populatie in het onderzoek betrokken of wordt een steekproef gebruikt? Als er een steekproef wordt getrokken, hoe worden de respondenten dan geselecteerd? 1C. Het instrument Is duidelijk op basis van welke literatuur het instrument tot stand is gekomen? Is het instrument gebaseerd op een ander instrument? o Zo ja, is duidelijk welke aanpassingen de onderzoeker aan het oorspronkelijke instrument gemaakt heeft? Op welke deelvraag (deelvragen) moet het instrument antwoorden geven? Is er een stappenplan (zie handboek p.172) bij het instrument? o Wat zijn de kernbegrippen? o Hoe zijn de kernbegrippen geoperationaliseerd? (Operationaliseren is het vertalen van een abstract begrip (bijvoorbeeld: motivatie) in meetbare vragen/items.) o Is er een directe relatie tussen kernbegrip, aspect en kijkpunt/vraag/stelling? 1D. De procedure Staat omschreven hoe de onderzoeker te werk gaat? o Hoe worden de respondenten benaderd? o Hoe, waar en wanneer worden de interviews / enquêtes / observaties gehouden? 1E. Analyse van de gegevens Is duidelijk wat de onderzoeker met de gegevens gaat doen? (Transcriberen, categoriseren, percentages berekenen, etc.)

3 2. Een pilot houden en deze evalueren Dit gedeelte van de opdracht is bedoeld om je instrument te testen in de praktijk. Je kunt op deze manier controleren of respondenten de vragen goed begrijpen. Je kunt bovendien controleren hoe de vragen geïnterpreteerd worden; is dit volgens verwachting of zijn er onverwachte antwoorden? Per type instrument zijn er richtvragen opgesteld: A. Een interview B. Een enquête

4 2A. Een interview Beantwoord na het houden van het interview (de pilot) onderstaande vragen. De vragen hebben betrekking op: de opbouw van het interview en op de introductie, kern en slot van het interview. De laatste vier vragen zijn voor de onderzoeker (de interviewer) om te reflecteren op het interview. De opbouw van het interview Is het interview opgebouwd in inleiding, kern en slot? Is er een logische opbouw van onderwerpen/thema s (die samen antwoord op onderzoeksvraag geven)? Zijn de vragen in logisch geordend? (van algemeen naar specifiek of andersom). Bestaat het interview uit een aantal hoofdvragen met daarbij aanvullende deelvragen / topics (die ter sprake gebracht kunnen worden als het antwoord niet spontaan komt)? Zijn het duidelijke interviewvragen? Gebruik bij het beantwoorden van deze vraag eventueel de checklist Hoe verbeter ik mijn vragen? De introductie Was het doel van het interview duidelijk? Heeft de onderzoeker zich voorgesteld? Was de rol van de onderzoeker duidelijk? Maakte de onderzoeker een praatje (small talk) om het ijs te breken? Werd duidelijk hoe lang het interview zou gaan duren? Vroeg de onderzoeker toestemming om het interview op te nemen? De kern (tussen haakjes staat aangegeven op welk aspect de vraag betrekking heeft) Toonde de interviewer interesse? (lichaamstaal) Maakte de interviewer oogcontact? (lichaamstaal) Maakte de interviewer instemmende geluiden? (lichaamstaal) Voelde de geïnterviewde zich op zijn/haar gemak? (sfeer) Had de interviewer de volledige aandacht bij de geïnterviewde? (sfeer) Was vooral de geïnterviewde aan het woord? (sfeer) Vroeg de interviewer door? (begrip) Vatte de interviewer de antwoorden samen? (begrip) Onderbrak de interviewer de geïnterviewde niet? (begrip) Luisterde de interviewer actief? (luisteren) Sprak de interviewer duidelijk? (stem)

5 Was het spreektempo van de interviewer aangenaam? (stem) Reageerde de interviewer zo objectief mogelijk (dus registreren en beschrijven, niet beoordelen)? (neutraal reageren) Stuurde de interviewer het interview in een bepaalde richting? (neutraal reageren) Het slot Werd er gecheckt of de geïnterviewde alle informatie heeft kunnen geven? (Was het interview diepgaand genoeg?) Zijn er afspraken gemaakt over de verwerking van de gegevens? (anonimiteit/vertrouwelijkheid, inzien verslag, etc.) Zijn er afspraken gemaakt over hoe aanvullende informatie verkregen kan worden? Zijn er afspraken gemaakt over hoe de geïnterviewde op de hoogte wordt gehouden over het onderzoek? Hoe lang duurde het interview? (Kwam dit overeen met de indicatie?) Geef tot slot twee tips aan de onderzoeker. Vragen voor de onderzoeker (interviewer) Ben je te weten gekomen wat je te weten wilde komen? Hoe komt dat? Wat ging er goed en wat ging er minder goed in de procedure/aanpak? Verliep het interview volgens plan? (Hoe ging het doorvragen, het actief luisteren, ) Welke aanpassingen maak je op basis van deze pilot?

6 2B. Een enquête Beantwoord na het houden van de enquête (de pilot) onderstaande vragen. De vragen hebben betrekking op: de opbouw van de enquête en op de introductie, kern en slot van de enquête. De laatste vier vragen zijn voor de onderzoeker (de interviewer) om te reflecteren op de enquête. De opbouw van de enquête Is de enquête opgebouwd in inleiding, kern en slot? Is er een logische opbouw van onderwerpen/thema s (die samen antwoord op onderzoeksvraag geven)? Zijn de vragen in logisch geordend? (van algemeen naar specifiek of andersom / blokken van vragen die bij elkaar horen). Is de enquête aantrekkelijk vormgegeven? De introductie Werd duidelijk waarom jij gevraagd werd om de enquête in te vullen? Was het onderwerp van de enquête duidelijk? Was duidelijk hoe lang het invullen van de enquête zou gaan duren? Werd duidelijk hoe de gegevens zouden worden verwerkt (met oog op anonimiteit/vertrouwelijkheid) Staat er een instructie over het invullen van de enquête? De kern Zijn het duidelijke enquêtevragen? Gebruik bij het beantwoorden van deze vraag eventueel de checklist Hoe verbeter ik mijn vragen? Bevat de enquête geen overbodige vragen? Sluit de toon in de enquête aan bij de te ondervragen doelgroep? Past de moeilijkheidsgraad bij de te ondervragen doelgroep? Is duidelijk hoe de enquête doorlopen moet worden? (Bijvoorbeeld: ga door naar vraag 4) Is duidelijk welke antwoordmogelijkheden er zijn? (schaalindeling / één of meerdere antwoorden / niet van toepassing / weet ik niet) Zijn de antwoordmogelijkheden logisch? Het slot Is er de mogelijkheid opmerkingen bij de enquête te plaatsen? Wordt duidelijk hoe je op de hoogte kan worden gehouden over het onderzoek?

7 Hoe lang duurde het invullen van de enquête? (Kwam dit overeen met de indicatie?) Geef tot slot twee tips aan de onderzoeker. Vragen voor de onderzoeker Ben je te weten gekomen wat je te weten wilde komen? Hoe komt dat? Wat ging er goed en wat ging er minder goed? Welke aanpassingen maak je op basis van deze pilot?

8 3. Voorbereiden op de uitvoering In dit laatste onderdeel van deze opdracht bereid je je voor op het daadwerkelijk inzetten van je instrument voor jouw onderzoek. Bespreek de dingen waar je rekening mee denkt te moeten houden, deel ervaringen (wanneer je al eerder onderzoeksgegevens verzameld hebt), voorzie elkaar van tips waar mogelijk en help elkaar om contacten te leggen met respondenten. Hoe ga je het aanpakken? Waar ben je tegenaan gelopen bij eerder onderzoek? Hoeveel respondenten heb je nodig? Waar vind je jouw respondenten en hoe ga je hen benaderen? Waar ga je het interview afnemen? Wat heb je nodig tijdens het interview? (Maak een checklist.) Hoe ga je de enquête uitzetten? Kies je voor een vragenlijst op papier of een digitale versie? Hoe ga je observeren; gebruik je een camera? Hoe stel je jezelf op bij de observatie?