Samenvatting Methoden van Onderzoek

Transcriptie

1 Samenvatting Methoden van Onderzoek Theorie: Stelsel met algemene principes dat pretendeert ons te vertellen hoe de wereld werkt. Omdat theorie altijd algemeen is en onderzoek altijd concreet is theorie niet direct toetsbeer. Toetsen moeten moet door middel van een hypothese opstellen waar weer een theorie uit is afgeleid. Falsifieerbaarheid (weerlegbaarheid) is een essentiele eigenschap van wetenschappelijke theorien. Deze weerlegbaarheid is belangrijk want als je verkeerd zit moet je hier achter zien te komen. Emperische cyclus: Observatie => Theorievorming=> Voorspelling => Toetsing => Evaluatie En vervolgens weer de cirkel rond, het doorlopen hiervan garandeert geen wetenschappelijke feiten. Methodes kunnen goed of slacht gebruikt worden. Validiteit: Gaat over de vraag of het gevraagde wel bestaat, meet je wel wat je wilt meten? En je moet dus soort inhoudelijke reality check doen. Betrouwbaarheid: Hoe precies zijn mijn metingen? En hoeveel meetfouten bevatten mijn metingen. Hoeveel error (ruis) en hoeveel random error (toevallige fouten)? De hoeveelheid toevallige meetfouten kan je schatten zonder dat je het exacte aantal kent. Bij sterk positieve correlatie is de test betrouwbaar. (r=1) Bij sterk negatieve correlatie is de test onbetrouwbaar. (r=-1) En bij r=0 is er geen correlatie (samenhang). Test-hertest correlatie: Correlatie tussen score 1 e meting en score 2 e meting is een maat voor betrouwbaarheid. Deze moet positief zijn en hoe hoger hoe beter. Oplossingen: Split-half of ook wel Interne consistentie: Verdeel de test in mogelijke helften. Bereken alle correlaties tussen alle mogelijke helften. En hiervan neem je het gemiddelde. Correctie formule gebruiken om betrouwbaarheid van de test te meten. Face validity: Op het eerste gezicht validiteit, vertrouwt op het vermogen intuïtief denken. Predictive validity: Voorspellende validiteit, hoe goed kan een test iets voorspellen, probleem hiervan is oneindige regressie. Kruttz factor: Rommel factor, alles hangt met alles samen.

2 Construct validiteit: Constructen zijn theoretische begrippen die rol spelen in netwerk van wetten, het monologische netwerk. Construct validiteit is de mate waarin relaties tussen observaties in overeenstemming zijn met dit netwerk. (Cronbach & Mehler) Stappenplan; - Defineer construct theoretisch - Operationaliseer definitie van construct. - Emperisch onderzoek - Conclusie Convergente validiteit: Als 2 maten die het zelfde moeten meten positief correleren. Dus zelfde construct maar andere meetmethode. Discriminante (of divergente) validiteit: Meetmethode blijft hetzelfde maar je neemt een ander construct. En moet je lage correlatie vinden. Case studies: Gevalsbeschrijvingen, diepgaande onderzoeken van 1 of meerdere gevallen. Exploratief onderzoek, je hebt een algemeen probleem nog niet kant en klaar. Proof of possibility, aantonen dat iets kan. Als je homogene populaties hebt en je hebt er 1 gezien dan heb je ze allemaal gezien. Voordelen aan case studies: - Geven meer diepgang - Veel informatie - Zeldzame gevallen - Genereert veel ideeen. Nadelen aan case studies: - Moeilijk verbanden te leggen (door confouding en present-present bias) - Gebrekkige generalisatie - Gevoelig voor vertekening Participerende observatie: Onderzoeker neemt actief deel aan bestudeerde proces zoals bij journalistiek onderzoek of antropologisch. Voordelen van participerende observatie: - Bekt lekker en je zit in de echte wereld. - Resulteert in een goed verhaal - Diepgaande informatie. Nadelen participerende observatie: - Onduidelijke welke hypothese er wordt getoetst. - Observer effects - Generaliseerdbaarheid is moeilijk vast te stellen.

3 - Causaliteit, hoe stellen we oorzaak gevolg vast als er maar 1 situatie is? (present-present bias) Directe observatie: Mensen worden in situatie gebracht en verloopt meestal volgens protocol. Hun gedrag wordt daar dan geobserveerd. Als dit gebeurt met duidelijke lijst vragen is het gestructureerde observatie. Voordelen van directe observatie: - Wordt gecontroleerd. - Procedure is herhaalbaar. - Interbeoordeelaars vertrouwen is na te gaan. - Informatie is op te vragen. Indirecte observatie: Mensen vragen stellen over hoe zij zich hebben gedragen in een bepaalde situatie. Voordelen: - Representatieve steekproef is mogelijk. - Snel en makkelijk - Statistiek kan gebruikt worden om onzekerheid vast te stellen. Nadelen: - Heel erg duur onderzoek - Geen gevoelige onderwerpen - Weinig diepgang - Response rate is vaak lang - Kan alleen eenvoudige vragen stellen. Cognitieve dissonantie: Het tegelijk hebben van 2 tegengestelde overtuigingen. Problemen bij observatie. - Sampling bias: Treed op bij steekproef van populatie, een steekproef wijkt af op relevante variabelen bij doelpopulatie (populatie waar je iets van wilt weten). De oplossing hiervoor is het random trekken van de mensen die in de steekproef deelnemen. Vormen van steek proeftrekking: Purpose sampling (express bepaalde groep mensen zoeken en Convience sampling (onderzoek bij wie er maar langskomt). - Vertekeningen van observatie: Vroeger werd gedacht dat observatie de waarheid was dit is echter niet waar. Observer effects: Observator verandert zelf iets in de situatie (alleen al dat de observator zelf in de situatie zit). Pigmalion effect: Zeggen dat er iets goeds gebeurt en dan gebeurt dit ook. Oplossingen zijn verstoppen, misleiden, afwachten, blinde observatoren. Rosenthal effect: Gebeurde toen hij 2 groepen ratten (uit zelfde groep)

4 maakte en elk aan andere onderzoeker meegaf en zij dat ene dom was en andere slim, en toen bleken de slimme ook sneller te leren. - Observer bias: Dan zien observatoren iets wat er niet is door verwachtingen van experiment. Oplossingen hiervoor blind onderzoek, dubbelblind onderzoek, placebogecontroleerd dubbel blind onderzoek. - Inferenentiele bias: De observatie is juist maar er worden de verkeerde conclusies getrokken uit deze observaties, omdat de mens graag snel causale verbanden wilt zien. Experimenteel onderzoek: Onderzoeker manipuleerd een variabele en bekijkt et effect daarvan op andere variabele. Construct 1 => Construct 2 Manipulatie (onafh. Variabele) Operationalisatie (afh. Variabele) Confounding variabele: Confouning is samenvallende variabele, dan weet je niet waardoor verschil veroorzaakt is en is dus een systematische fout. Vormen allerlei alternatieve verklaringen voor verschil tussen experimentele en controle conditie en bedreigen de interne validiteit. Interne validiteit: Voor het vaststellen van een causale relatie moeten we alternatieve verklaringen uitsluiten. Kritiek op veldexperiment: Selectie vormt een probleem, je hebt nauwelijks controle en binnen deze ongecontroleerde condities heb je oneindig veel confounds. Oplossingen hiervoor; matchen op belangrijke kenmerken, random toewijzen en een experiment van maken. Manipulatie check: Is voor de controle van waarde op de onafhankelijke variabele. Confound check: Gaat over de vraag, in welk opzicht verschillen de condities. Dus je maakt een lijst met experimentele condities en de controle condities. Met lab experiment kan je veel meer confounds uitsluiten dan in een veld experiment. Independent group designs: Je zit afhankelijk van kop of munt een groep toegewezen

5 Als proefpersonen uitvallen voordat de manipulatie is uitgevoerd van vormt dit geen bedreiging voor de interne validiteit. De interne validiteit is belangrijker dan de ecologische validiteit, hoe kunstmatiger de situatie hoe hoger de interne validiteit en hoe sterker het geloof in een causale relatie. Maar de ecologische validiteit is weer hoger bij de brug studie. Ecologische validiteit: De mate waarin het onderzoek lijkt op het dagelijks leven. En wordt vaak aangedragen als argument tegen een experiment. Oplossingen voor confounds (of hoe je er mee om moet gaan), - Subtract it out; hetzelfde per conditie (dingen van elkaar aftrekken) - Take it out; wegnemen van bijzaken - Check it out; bekijk het effect van placebo etc. Subract it out en take it out zouden hetzelfde effect moeten hebben en check it out gebruik je alleen om het effect te zien. Je moet wel opletten om welk construct het gaat, dan zouden er wel veel confounds kunnen wegvallen. Dus of iets een confound is hangt af van wat je wilt weten. T-toets voor gemiddelden verschil een objectieve manier om na te gaan of effect van een manipulatie zinvol is of aan toeval moet worden toegewezen. T-toets; - Stel nulhypothese op, idee dat er geen gemiddelden verschil is tussen de twee groepen of condities. - Bereken t-waarde (p-waarde) aan de hand van gegevens en kijk daarmee hoe groot de kans is op die gegevens als de nulhypothese waar zou zijn. - Hoe hoger de t-waarde des te kleiner de kans dat het gevonden verschil toeval is. - Als de kans kleiner is dan 0.05 dan verwerp je de nulhypothese en is er een significant verschil. En er is dus een significant resultaat. Met t-toets kijk je hoe toevallig het is dat deze resultaten vindt als er in werkelijkheid geen verschil zou zijn. Effect grootte hangt af van gemiddelden verschil en variatie binnen condities. Als dingen verschillen binnen condities en niet tussen condities zijn het geen confounds. En hoe homogener de groep hoe significanter de resultaten.

6 Within subject design: Proefpersonen kan je zelf als controle gebruiken (recyclen van proefpersonen). Obscuring factors: Bronnen van variatie binnen condities, - Meetfouten: Scores zijn niet perfect betrouwbaar, en als je onbetrouwbaar meet voeg je meer ruis toe en hoe nauwkeuriger je meer des te kleiner de spreiding bij conditie. - Omgevingsfactoren - Individuele verschillen die te maken hebben met afhankelijke variabele. Hoe kunstmatiger en hoe meer gestandaardiseerder de onderzoekssituatie deze te kleiner het effect van de omgeving. In lab worden vaak sterkere resultaten gevonden dan in veldonderzoek. Hoe krijg je significant resultaat? - Hoe meer proefpersonen hoe beter. - Zo min mogelijk individuele verschillen - Zo betrouwbaar mogelijk meten - Omgevings invloeden zo klein mogelijk maken, hoe kunsmatiger hoe beter. - Voorkom plafon en vloer effecten, als taak te makkelijk en je kan niet hoger scoren heb je plafon-effect en te moeilijke taak is een vloereffect. Zorg dat je zo min mogelijk obscuring factors hebt maar het is lang niet zo erg als confounds. Confound is een structureel verschil en vormen alternatieve verklaring voor je bevindingen en maken oninterpreteerbaar, maar ze hebben niets met significantie te maken. Obscuring factors verschillen toevallig binnen condities, en vormen geen verklaring voor effect en maken effect niet significant en hebben dus alles te maken met significantie en is dus slecht nieuws voor de onderzoeker. Meetanalyse: Heel veel inderzoeks resultaten bij elkaar nemen en gaan kijken of je hiermee iets kan zeggen over een bepaald onderwerp. Niet significant betekend niet dat resultaat er niet is! Externe validiteit: Generaliseerbaarheid, in welke mate experimenteel experiment generaliseerbaar is; - Andere metingen (afhankelijke variabele) - Andere populatie (minderheden, ouderen) - Andere afhankelijke variabelen (manipulaties)

7 - Andere situaties (bijvoorbeeld het echte leven ) Generalisatiemodel, zo kan je per experiment bepalen of deze generaliseerbaar is. Hier kan je gebruik van maken bij steekproef trekking. Daarvoor dienen de gebruikte operationalisaties, metingen en proefpersonen representatief te zijn voor een bepaalde populatie. En generaliseerbaarheid gaat vaak over theoretische principes. Theoretischmodel (van externe validiteit), dan doe je replicatie van onderzoek. Je kijkt of er een stereo threat factor is en naar de test factor. Stereotype threat: Bedreiging die uitgaat van negatieve stereotypen over vaardigheden van een bepaalde groep. (Vrouwen slecht in wiskunde door Barbie) Causale relatie hangt af van de interne validiteit, de construct validiteit van de gebruikte operationalisaties en de externevaliditeit van het onderzoek. Constructvaliditeit: Heeft betrekking op manipulatie en op meting van afhankelijke variabele. En gaat niet over causaliteit tussen de gekozen operationalisaties (dit is interne validiteit). En gaat dus meer over de relatie van constructen en de operationalisaties. Factorieel design: 2x2 design met 2 between subjects factoren en random toewijzing. Hier heb je weer verschillende designs van; 1-wegs design, factor A, onafhankelijke variabele en leven 1&2 2-wegs design, factor A & B en 2 onafhankelijke variabelen 3-wegs design, 3 factoren en daarvan worden er 2 gemanipuleerd. Termen bij factorieel design: Factoren: Onafhankelijke variabelen A en B Levels: Niveaus onafhankelijke variabelen meestal experimentele condities. Hoofd-effect: Effect van A en effect van B. Simple main effect: Het effect van een onafhankelijke variabele op een bepaald level van een andere onafhankelijke variabele. Interactie: Effect van onafhankelijke variabele A hangt af van level onafhankelijke B. Bij stereo type threat treed niet op bij makkelijke test maar wel bij moeilijke test. Designs zijn sterk gerelateerd aan de variantie analyse (ANOVA). Within subjects design: Stereotype benadrukt (experimenteel) en stereotype ontkracht (controle).

8 Between subjects design: Volgorde groep 1; eerst controle dan experimenteel en andersom bij groep 2. Mixed design: De twee bovenstaande designs gecombineerd ook wel counterbalanced en hiermee kan je kijken of het effect van conditie uitmaakt voor de test/tijd. Quasi-experiment: Hier heb je interesse in de causale relatie tussen onafhankelijke-afhankelijke variabele. Er is geen random toewijzing mogelijk, er is minder controle mogelijk, bevat heel veel confounds, goed design verhoogt de interne validiteit. En vaak wordt er gebruik gemaakt van selectie van bestaande groepen. Wat is hier nodig voor causaliteit? - Is er wel verschil dat significant is. - Vond de oorzaak al voor het gevolg plaats? - Plausibele alternative verklaringen? Hoe zit het namelijk met confounds. Longitudinale designs; Repeated measures, meerdere metingen over de tijd. Nadeel is dat er tijd tussen zit want mensen worden ouder en situaties veranderen. Bedreigingen van interne validiteit: - History, externe invloeden. - Maturation, ontwikkeling volwassen wording. - Testing, hertest effecten - Subject loss, proefpersoon uitval. - Selection, structurele verschillen tussen proefpersonen. - Regression, statistisch artefact bij extreme scores, door toevallige meetfouten. - En andere confounds. Soorten designs: Mixed design: Dan kan je subject loss krijgen. Non equivalent control group: subject loss en regression als je dit design uitbreid dan gaat is er alleen nog maar subject loss. Wait list control group: Iedereen krijgt behandeling.

9 Interrupted time series design: Last van history en subject loss. Interrupted time series met Non equivalent control group gecombineerd is er alleen nog subject loss. ABAB design of revearsel design: A: baselinge meting B: Treatment A: Geen treatment B: Treatment Maakt alternatieve verklaringen aannemelijk, causaliteit is niet onomstotelijk vast te stellen, generaliseerbaarheid blijft lastig. Gunstig effect op groepsniveau zegt niets over effect op individu of effect op individu zegt niets over een groep. APA Ethical Principles of Psychologist: Hier worden de ethische richtlijnen opgesteld. En geven rechten weer proefpersoon en plichten van proefleider. Passieve misleiding: Niet tegen proefpersonen zeggen waar experiment over gaat (moet achteraf wel gezegd worden). Aktieve misleiding: Tegen proefpersonen liegen, het gebruik van confederates. Misleiding wordt toegestaan als het niet anders kan en noodzakelijk is voor het onderzoek en als er geen schandalige effecten worden verwacht en proefpersoon achteraf worden ingelicht (debriefing). Maar als het zonder kan doe dit dan! Good story heuristic: Klinkt zo goed moet wel waar zijn. Typen replicaties; Directe replicatie: Zelfde experiment nogmaals uitvoeren zo exact mogelijk. Systemantische replicatie: Zelfde experiment maar net iets veranderen in het onderzoek. Conceptuele replicatie: Ander experiment maar gaat wel over hetzelfde principe. Als iets niet repliceerbaar is dan moet je toegeven dat het niet werkt.

10 Significant betekent niet dat een effect zeker bestaat maar betekent dat de kans kleiner is dan 5% dat de resultaten aan toeval kunnen worden uitgewezen. Je kan dus een significant effect vinden dat in werkelijkheid niet bestaat. Als de nulhypothese waar is heb je nog 5% kans om significant verschil te vinden dit gebeurt bij 1 op de 20 studies en noem je Type 1 fout. Type 1 fout: Hier is nulhypothese waar en wordt toch verworpen. Type 2 fout: Hier is nulhypothese onwaar en wordt niet verworpen. Meta-analyse: Weging van alle studies zo worden resultaten gecombineerd van verschillende studies.