Paper 3. Onderzoeksinstrumenten

Transcriptie

1 Paper 3 Onderzoeksinstrumenten Naam auteur Vakgebied Titel Onderwerp Opleiding Eva Lems Biologie Doelgroep Havo 3 Sleuteltermen Bibliografische referentie Studentnummer Begeleider(s) Beoordelaar(s) indien bekend Op en neer en heen en weer : ADHD Jojoën en ontdekkend leren. Een module voor de derde klas over hersenen en gedrag Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Organisatieniveaus, systeemdenken, ontdekkend leren Lems, E (014). Op en neer en heen en weer : ADHD. Amsterdam: Interfacultaire Lerarenopleidingen UvA. Michiel Dam Datum Michiel Dam, Erik Joling, Mariska Min Noot vooraf: De poster (presentatie) die leerlingen maken gebruik ik in tegenstelling tot vermeld in paper 1 niet als onderzoeksinstrument, maar zet ik in als leeractiviteit. Wel zal ik de presentatie en de antwoorden in het werkboek (het Breinboekje, zie paper ) mogelijk gebruiken om uitkomsten van het Learner report en de conceptmaps te verklaren en de lessenserie als geheel te evalueren.

2 Samenvatting paper 1 Dit ontwerponderzoek betreft een lesmethodeonafhankelijke module voor havo 3 over hersenen en gedrag waarbij systeemdenken en het doen van authentiek natuurwetenschappelijk onderzoek centraal staan. In de eerste twee lessen worden relaties tussen de concepten hersenen en gedrag aangeleerd binnen een maatschappelijk relevante context die aansluit bij de belevingswereld van leerlingen (ADHD). Hierbij jojoën leerlingen tussen organisatieniveaus d.m.v. probleem stellende cycli met vragen vanuit medisch en persoonlijk perspectief. In de derde en vierde les gaan leerlingen zelf een elektro-encefalografie (EEG) experiment bedenken en uitvoeren op de Universiteit van Amsterdam (leerlinggestuurd in een authentieke context volgens een experimentele/onderzoekende benadering van instructie). De gemaakte conceptmaps (voor en na lessenserie) worden geanalyseerd op de mate waarin leerlingen samenhang zien tussen de verschillende organisatieniveaus (systeemdenken) op het gebied van hersenen en gedrag. De ingevulde Learner reports worden geanalyseerd op de ontwikkeling van natuurwetenschappelijke onderzoekvaardigheden en het beeld wat leerlingen hebben over wat biologie inhoudt in de bovenbouw en in vervolgopleiding. Onderzoeksmethoden Onderzoeksontwerp In dit ontwerponderzoek wordt een vergelijking (voor en na de lessenserie) gemaakt tussen de mate waarin leerlingen in een conceptmap juiste relaties leggen tussen verschillende concepten op verschillende organisatieniveaus op het gebied van hersenen en gedrag 1. Daarnaast wordt middels een Learner report onderzocht wat leerlingen naar eigen zeggen geleerd hebben over hersenen en gedrag en het doen van natuurwetenschappelijk onderzoek 1. In het Learner report wordt ook onderzocht of leerlingen aangeven door de lessen een beter beeld te hebben ontwikkeld over wat biologie inhoudt in de bovenbouw en in vervolgopleiding 1. Onderzoeksinstrumenten en verantwoording Conceptmap Om inzicht te krijgen in de mate waarin leerlingen (meer) samenhang zien tussen concepten op verschillende organisatieniveaus, moet voor en na de lessenserie gemeten worden welke verbindingen tussen concepten leerlingen leggen. Conceptmaps zijn een geschikt middel om dit te kunnen doen, omdat ze het denken (leggen van relaties) van leerlingen visualiseren (Kneppers, 014; Ummels, Kamp, Kroon, & Boersma, 013). Het nadeel van dit instrument is dat het maken van conceptmaps veel tijd kost en het soms het leereffect van het maken van conceptmaps meet in plaats van de leerresultaten (Kneppers, 014; Ummels, Kamp, Kroon, & Boersma, 013). Daarom kies ik er voor om een klein aantal concepten aan te reiken en laat ik leerlingen voorafgaand aan de lessenserie oefenen met conceptmapping. De volgende concepten en hun onderlinge relaties worden onderzocht : gedrag (aandacht, motivatie) (organismeniveau) hersenen, zintuigen, prikkels (orgaanniveau) impulsen, zenuwcellen (celniveau) 1 Zie bijlage 1 voor een overzicht welke onderzoeksvraag met welke onderzoeksinstrument onderzocht worden Zie Bijlage voor uitwerking van de conceptmap opdracht en analyse

3 Learner report Het is binnen het tijdsbestek van dit onderzoek voor mij niet goed mogelijk om vooraf vast te stellen hoe goed leerlingen onderzoek kunnen doen. Het huidige onderzoek laat zich lastig vergelijken met regulier onderzoek wat op school gebeurt. Daarom gebruik ik antwoorden op vragen in een Learner report om vast te stellen of onderzoekvaardigheden ontwikkelen door de lessenserie 3. Een Learner report is een zelfrapportage instrument om leereffecten te achterhalen die objectief lastig toetsbaar zijn, zoals leerervaringen, attitudes, zelfkennis en zelfinzicht (ILO, 014). Nadeel van dit instrument is de sociale wenselijkheid van antwoorden van leerlingen, wat de validiteit kan verminderen (ILO, 014; Verschuren & Doornewaard, 005). Leerlingen beantwoorden gestructureerde open vragen over leerervaringen en wat ze hebben geleerd over het doen van onderzoek en over hersenen en gedrag 1. Dit laatst doe ik om te onderzoeken of leerlingen dezelfde proposities noemen als in de conceptmaps, teneinde de betrouwbaarheid van dit middel te checken. Verklaringen en uitleg worden in de open vragen uitgelokt door steunwoorden zoals want, omdat, door. (ILO, 014). In gesloten vragen wordt vooral gevraagd naar ervaren veranderingen in het beeld (onderdeel van attitude) van biologie (Huizinga, 014). Onderzoekspopulatie De onderzoekspopulatie van dit ontwerp is klas H3C van het Bredero Lyceum in Amsterdam Noord. Het is een drukke, leuke, multiculturele klas met 6 leerlingen. Over het algemeen presteren de leerlingen goed. Procedure De meetmomenten vallen zoveel mogelijk samen met onderwijsleeractiviteiten om een testingeffect te voorkomen (Ummels, Kamp, Kroon, & Boersma, 013). Op de volgende meetmomenten verzamel ik data: een conceptmap-opdracht in een toets 4 over het hoofdstuk Gedrag als voormeting (T1), een conceptmapopdracht aan het einde van de lessenserie als nameting (T). Leerlingen vullen na de lessenserie het Learner report in (T3). Data-analyse Conceptmap Als maat om samenhang tussen verschillende concepten te meten d.m.v. conceptmaps gebruik ik het aantal juiste proposities die leerlingen maken volgens de methode van Ummels, Kamp, Kroon, & Boersma (013). Een propositie bestaat uit twee concepten en hun relatie (zie afbeelding 1). Ik ga het verschil meten in het aantal juiste proposities tussen een conceptmap die leerlingen vóór de lessenserie maken en een conceptmap die leerlingen aan het einde van de lessenserie maken. De te onderzoeken proposities zijn weergegeven in een door mij gemaakte referentie conceptmap met een code. Alleen proposities die betrekking hebben op proposities uit de referentie conceptmap worden geanalyseerd. prikkels zintuigen Afbeelding 1. Voorbeeld van een juist propositie 3 Zie Bijlage 3 voor opzet van het Learner report en analyse 4 Gemaakt op 5 maart

4 Learner report Het Learner report analyseer ik zowel kwalitatief als kwantitatief 3. Van de gesloten vragen bereken ik de gemiddelde scores op de items van de klas. Gezien het lage aantal leerlingen zullen er geen verdere statistische analyses gedaan worden. Bij de open vragen maak ik een kwalitatieve analyse. Gebaseerd op de antwoorden deel ik de antwoorden in categorieën in. De antwoorden over wat geleerd is over onderzoek doen, zullen gecategoriseerd worden naar kenmerken van echt onderzoek (Chinn & Malhorta, 001; Lee & Berger, 009; Janssen, 006). De antwoorden op de vraag over wat geleerd is over hersenen en gedrag zullen gescoord worden op proposities (zoals eerder beschreven) die genoemd worden volgens de methode van Ummels, Kamp, Kroon, & Boersma (013). Literatuur Chinn, C., & Malhorta, B. (001). Epistemologically Authentic Inquiry in Schools: A Theoretical Framework for Evaluating Inquiry Tasks. Science Education, Huizinga, J. (014, 0 0). Workshop onderzoekstechnieken Vragenlijsten. Amsterdam: ILO. ILO. (014, 0 0). Workshop onderzoekstechnieken Learner Report. Amsterdam: ILO. Janssen, F. (006). Biologen Denkgereedschap voor het Biologieonderwijs. Leiden: ICLON Universiteit Leiden, geproduceerd door Espresso Book Machine American Book Center Amsterdam. Kneppers, L. (014, 0 0). Onderzoekscarousel Workshop Conceptmaps. Amsterdam: UvA. Lee, L., & Berger, N. (009). Exeriental Approach to Instruction. In C. C.-C. Reigeluth, Instructional- Design Theories and models Volume III (pp ). Londen: Taylor anf Francis Publishers. Spek, W. R. (007). Kerndoelen voor de onderbouw vo Concretisering kerndoelen mens en natuur. Enschede: Stichting leerplanontwikkeling (SLO). Ummels, M. H., Kamp, M. J., Kroon, H. d., & Boersma, K. T. (013). De ontwikkeling van conceptuele samenhang binnen concept-contextonderwijs. Een case study voor het vak biologie in 4- havo. Pedagogische studien, 9-3. Verschuren, P., & Doornewaard, H. (005). Designing a reseach project. Utrecht: Lemma.

5 Bijlage 1. Overzicht onderzoeksmethoden Onderzoeksvraag Hypothese Instrument Meetmoment Data en analyse V1. In hoeverre zien leerlingen na de lessenserie 5 meer samenhang tussen de verschillende organisatieniveaus (systeemdenken) op het gebied van hersenen en gedrag? Y1. Leerlingen zien meer samenhang tussen de verschillende organisatieniveaus (systeemdenken) op het gebied van hersenen en gedrag Conceptmaps Les 0 en les 5 Verschil per lln in aantal juiste proposities tussen de concepten : Verschil (voorna) van de klas Analyse van fouten Learner report Les 5 Aantal juiste proposities die leerlingen noemen V. Draagt de lessenserie 5 bij aan het ontwikkelen van natuurwetenschappelijke onderzoekvaardigheden? (Wat leren leerlingen van het doen van het EEG practicum?) Y. Natuurwetenschappelijke onderzoekvaardigheden ontwikkelen Learner report Les 5 Antwoorden op open vragen (categoriseren volgens literatuur en antwoorden in analyse) V3. Krijgen leerlingen een beter beeld over wat biologie (als natuurwetenschap) inhoudt in de bovenbouw en in vervolgopleiding 6? Extra Een aantal gesloten vragen evalueert hoe leerlingen de module ervaren hebben. Was de module leuk, leerzaam? (zoals beoogt met de ontwerpcriteria uit paper 1)? Y3. Krijgen leerlingen een beter beeld over wat biologie (als natuurwetenschap) inhoudt in de bovenbouw en in vervolgopleiding Learner report Les 5 Antwoorden op gesloten vragen Learner report Les 5 Analyseren van antwoorden en gemiddelden van de klas 5 Volgens de ontwerpregels en lesopzet zoals beschreven in paper 1 en 6 Dit laatste zou kunnen bijdragen aan het maken van profielkeuze en een positievere attitude tegenover natuurwetenschappen. In het onderzoek voor mijn Profiel Product (Wat bepaalt keuze voor N&T profiel?), onderzoek ik ook het doen van een Science lab invloed heeft op profielkeuze.

6 Bijlage a. Opdrachten conceptmaps Vraag Voormeting (toets ) 1. Wat hebben de volgende begrippen met elkaar te maken? Teken een conceptmap met de onderstaande begrippen. Zet om ieder begrip een cirkel en verbind de begrippen die met elkaar te maken hebben met pijlen. Zet bij de pijl wat de twee begrippen met elkaar te maken hebben. Gedrag Hersenen Prikkels Zintuigen Impuls Motivatie Vraag Nameting (onderdeel Breinboekje) a. Wat hebben de volgende begrippen met elkaar te maken? Teken een conceptmap met de onderstaande begrippen. Zet om ieder begrip een cirkel en verbind de begrippen die met elkaar te maken hebben met pijlen. Zet bij de pijl wat de twee begrippen met elkaar te maken hebben. Gedrag Hersenen Prikkels Zintuigen Impuls Motivatie b. Vul de conceptmap aan met begrippen die je in deze module geleerd hebt: ADHD EEG Aandacht Zenuwcellen Frontale hersenkwab

7 Bijlage b. Referentie conceptmap met codering (ik onderzoek alleen groene concepten en rode proposities) Bijlage c. Analyse conceptmaps De juiste proposities zijn weergegeven met een code in de referentie conceptmap. Zinnen/steekwoorden in de conceptmaps van leerlingen die overeenkomen met proposities uit de referentie conceptmap worden gecodeerd. Per leerling (conceptmap) wordt naar het aantal juiste proposities en gekeken welke proposities genoemd worden. Het gemiddelde verschil zal voor de hele klas berekend worden. Een tweede beoordelaar zal enkele conceptmap beoordeling om te kijken of er overeenstemming is, betrouwbaarheid van meten. Leerling Juist Proposities VOOR Juiste Proposities NA Verschil in aantal (proefpersoonnummer) 1 X,y,() X,y,z,b, (4) 3 Als leeractiviteit worden in de nameting een paar extra concepten toegevoegd. Van deze begrippen/proposities kan niet het verschil van voor en na de lessenserie gemeten worden, maar wel interessant om te kijken of goede relatie gelegd worden. Ook zal ik een korte analyse doen van de foute proposities om resultaten te verklaren. Bijlage 3a. Opzet Learner report Noot: Om te zorgen dat leerlingen serieus aan het Breinboekje werken, krijgen leerlingen er een cijfer (telt 1x mee) voor. Zonder Learner Report krijgen leerlingen geen cijfer, dit om te zorgen dat iedereen (ook bij afwezigheid) het Learner Report uiteindelijk inlevert.

8 Noot : een aantal gesloten vragen zijn toegevoegd om te evalueren hoe leerlingen de module ervaren hebben. Noot 3: de lay-out moet nog worden aangepast Met dit Learner Report wil ik erachter komen wat jij van de lessen over ADHD en het EEG practicum geleerd hebt, wat jij vindt dat je er aan gehad hebt. Met leren bedoel ik niet alleen meer kennis gekregen hebben, maar ook wat je door de lessen over jezelf geleerd hebt. Het is niet zo eenvoudig om zomaar even op te schrijven wat je allemaal geleerd hebt. Daarom hebben is er een manier bedacht waarop je dit wat gemakkelijker kunt doen. Deze manier gaat ervan uit dat er vier soorten van leren zijn: leren over dingen die altijd zo zijn leren over dingen die anders zijn dan je dacht leren over jezelf leren over dingen van jezelf die anders zijn dan je dacht. Op deze vier gebieden ben ik benieuwd wat je van de lessen over ADHD en het EEG practicum geleerd hebt. De toelichting staat op de volgende bladzijden. Er zijn geen goede of foute antwoorden: het gaat er om wat jij vindt. Ik wil dus graag dat jij persoonlijk de zinnen opschrijft, en het niet samen doet met een medeleerling. Open vragen 1. Over hersenen en gedrag en ADHD Ik heb geleerd dat want Ik heb geleerd dat het niet waar is dat want Ik heb geleerd dat ik (altijd).. want Ik heb geleerd dat het niet waar is dat ik. want. Over het EEG experiment en het doen van onderzoek: Ik heb geleerd dat ((denk bijvoorbeeld aan het bedenken van een onderzoeksvraag en een hypothese, verschillende variabelen (afhankelijke variabelen) verzinnen die je kan meten met EEG, verklaren van onderzoeksresultaten, presenteren van onderzoeksresultaten)..want Ik heb geleerd dat het niet waar is dat..want Ik heb geleerd dat ik (altijd). want Ik heb geleerd dat het niet waar is dat ik want Gesloten vragen. (helemaal mee oneens, beetje mee oneens, beetje mee eens, helemaal mee eens)

9 1. Ik vond de lessen over ADHD interessant. Ik vond de lessen over ADHD leerzaam 3. Ik vond de het EEG practicum interessant 4. Ik vond de lessen EEG practicum leerzaam 5. Ik heb harder gewerkt dan tijdens normale lessen 6. Ik heb liever normaal les 7. Ik ben beter geworden in het doen van onderzoek 8. Door deze lessenserie weet ik beter wat biologie als vak in de bovenbouw inhoudt 9. Door deze lessenserie heb ik een idee gekregen van wat je met biologie kan doen in een vervolgopleiding 10. Mijn interesse in onderzoek doen is groter geworden 11. Ik denk dat het mogelijk is dat ik later aan de universiteit een studie kan gaan doen 1. Door deze lessenserie ben ik zekerder geworden van mijn profielkeuze Welk profiel kies je?

10 Bijlage 3b. Opzet Analyse Learner report Wat geleerd van onderzoek doen Lln # Opstellen van een onderzoeksvraag en een hypothese 1 Uitspraak x etc Verschillende variabelen (afhankelijke variabelen) verzinnen die je kan meten met EEG Verklaren van onderzoeksresultaten Het presenteren van onderzoeksresultaten totaal X keer Geleerd over Hersenen en gedrag Lln # Proposities 1 Code x, y,z etc totaal Gemiddelde aantal Persoonlijke leerervaringen lessen hersenen, gedrag, ADHD (leren over dingen die altijd zo zijn; leren over dingen die anders zijn dan je dacht; leren over jezelf; leren over dingen van jezelf die anders zijn dan je dacht) Lln # Categorie x Categorie y Categorie z Categorie 1 etc totaal Persoonlijke leerervaringen EEG (leren over dingen die altijd zo zijn; leren over dingen die anders zijn dan je dacht; leren over jezelf; leren over dingen van jezelf die anders zijn dan je dacht) Lln # Categorie x Categorie y Categorie z Categorie 1 etc

11 totaal Gesloten vragen Helemaal mee oneens = 1; beetje mee oneens =, beetje mee eens = 3, helemaal mee eens = 4 Lln # Vraag x Vraag y etc etc totaal gemi ddeld e