Bachelorproject II College 1: Validiteit en betrouwbaarheid: factor- en betrouwbaarheidsanalyse. Harry BG Ganzeboom 5 januari 2016 Bijgewerkt in rood

Transcriptie

1 Bachelorproject II College 1: Validiteit en betrouwbaarheid: factor- en betrouwbaarheidsanalyse Harry BG Ganzeboom 5 januari 2016 Bijgewerkt in rood

2 App.gosoapbox.com en gebruik telkens de volgende inlogcode:

3 AGENDA Correlaties Wat is het en wat kun je ermee? Sterk of zwak? Significantie? Betrouwbaarheid Betrouwbaarheid en toevallige meetfouten Oorzaken, gevolgen, diagnose, reparatie Betrouwbaarheidsanalyse van een index Validiteit Validiteit en systematische meetfouten Oorzaken, gevolgen, diagnose, reparatie Factoranalyse van multiple indicatoren 3

4 CORRELATIES 4

5 Correlatie-matrix Female AGE PINC Hours EduCat Female Gender AGE Age at time of survey PINC Personal Income Hours Workhours max 40 EduCat Education in categories r p N r p N r p N r p N r p N

6 Correlatie De (pearson) correlatie r is de meest gebruikte methode om de sterkte van het verband tussen twee variabelen uit te drukken < r < 1.00 In beginsel voor twee continue variabelen met ten minste interval meetniveau (bv. leeftijd *inkomen), maar werkt ook goed voor: Ordinale variabelen (spearman correlatie) Discrete variabelen (maar vaak wel verlies van sterkte) Zelfs bij nominale variabelen werkt een correlatie als je de waarden optimaal geordend / geschaald hebt. 6

7 Correlatie: SE en significantie Het staat niet in de meeste statistiekboeken, maar het is de moeite waard om de SE (Standard Error, Sampling Error) van r te kennen: SE(r) = 1 / (N-2) 1 / N Bv: N=100 SE(r) =.10 r =.20 (p<.05) Bv: N=400 SE(r) =.05 r =.10 (p<.05) 7

8 SE = 1/ N 8

9 Belangrijke conclusies Hoe groter N, des te kleiner de steekproeffluctuaties. Maar dit verband is niet-lineair Grotere N maakt heel veel meer uit bij kleine steekproeven dan bij grote!! 9

10 Sterk en zwak Cohen (1988) heeft de volgende karakteristieken voor correlaties van verschillende sterktes (zie Pallant, 139) voorgesteld: r > 0.50 Strong r > 0.30 Moderate r > 0.10 Weak. Onderzoek gaat bijna altijd over zwakke effecten. Matige en sterke effecten zijn triviaal je onderzoeksgegevens moeten ze laten zien, maar je vraagstelling gaat er niet over. Sterk: opleiding inkomen, twee bijna identieke attitude items. Matig: leeftijd opleiding, sekse part-time werken, beroep ouders beroep kinderen. Zwak: alles wat je werkelijk wilt weten. 10

11 r =.50 11

12 r =.30 12

13 r =.10 13

14 Power / onderscheidingsvermogen (niet behandeld) Significantie: wat is de kans om de H0 te verwerpen als deze waar is? (=type 1 fout) Power: wat is de kans om de H0 te verwerpen als deze NIET waar is? (=1 type 2 fout). Je kunt power alleen berekenen als je de Ha kent. Dit is bijna nooit het geval, je kunt hier alleen maar in scenario s denken. Cohen s karakteristieken van de sterkte van correlaties zijn zulke scenario s. 14

15 (niet behandeld) Achieved power as a function of effect size and N of sample. Bivariate correlation. effect N

16 VALIDITEIT EN BETROUWBAARHEID 16

17 Validiteit en betrouwbaarheid Validiteit: meten wat je bedoelt te meten Betrouwbaarheid: stabiel meten. Betrouwbaarheid is een noodzakelijke maar geen voldoende voorwaarde voor validiteit: Je kunt het verkeerde heel betrouwbaar meten maar je kunt niet het bedoelde meten als je niet stabiel meet. Maar: validiteit en betrouwbaarheid zijn geen 0/1 kenmerken, ze hebben beide een mate van (0..1 kenmerken). 17

18 Onbetrouwbaar & 18

19 Meetfouten 19

20 Meetfouten Random (toevallige) meetfouten onbetrouwbaarheid. Systematische (herhaalde) meetfouten invaliditeit. Beide soorten meetfouten moet je: Proberen te vermijden Diagnosticeren Corrigeren. 20

21 Volgorde betrouwbaarheids- en validiteitsanalyse We behandelen eerst betrouwbaarheids-analyse, daarna validiteitsanalyse. Maar in de praktijk van het onderzoek moet het andersom: je moet er eerst voor zorgen dat je valide meet, daarna komt de betrouwbaarheidsanalyse. Het navolgende veronderstelt als het ware dat we geen systematische meetfouten maken; na de pauze gaan we kijken hoe je daar achter komt. 21

22 BETROUWBAARHEID EN BETROUWBAARHEIDSANALYSE 22

23 (On)betrouwbaarheid gevolgen Onbetrouwbaarheid leidt tot verzwakking van correlaties: bij grotere onbetrouwbaarheid van een variabele komen de geobserveerde correlaties steeds dichter bij 0 te liggen. (Dit heeft ook gevolgen voor regressiecoëfficiënten, alleen is dat ingewikkelder.) (In een volgend college zal blijken dat er verschil is in gevolgen voor afhankelijke en onafhankelijke variabelen.) 23

24 Hoe ontstaat onbetrouwbaarheid? Stellen van onduidelijke en verwarrende vragen: Vage formuleringen Respondenten om schattingen of berekeningen vragen Vage tijdsaanduidingen Interviewer gebruiken ipv write-in vragenlijsten. Maar ook als je goede vragen stelt, blijkt dat de antwoorden vaak (heel) onbetrouwbaar zijn. Onbetrouwbaarheid is een enorm groot probleem. 24

25 Diagnose en reparatie Hoe groot je onbetrouwbaarheid is, kun je uitvinden door herhaling van de meting. Als een kenmerk niet verandert, meet je betrouwbaarheid aan de hand van de correlatie tussen de twee metingen van dat kenmerk (de test-retest reliability). Hierbij moet je er wel voor zorgen dat het kenmerk dat je wilt meten niet verandert, maar dat de meetfouten volstrekt bij toeval ontstaan er mogen geen herinneringseffecten zijn. Onbetrouwbaarheid) kun je verkleinen door de metingen te middelen tot een index: de ware score komt dan steeds beter naar voren; hoe meer metingen je hebt, des te kleiner wordt het aandeel van de random meetfouten. 25

26 Hoe meet je onbetrouwbaarheid? Door het herhalen van de meting Terwijl het kenmerk zelf niet veranderd is En de meetfouten alleen door het toeval bepaald worden (en niet door herinnering). Je doet dit door de herhaling een tijdje later te meten (bv. half uur) zodat men de meetfout vergeten is. Of door de vraag in een andere formulering (alternate form) te stellen. 26

27 Test-retest betrouwbaarheid True Score Y We zullen deze vermenigvuldiging van pijlen nog heel vaak tegenkomen r(y,y1)=r(y,y2)= r(y1,y2) y1 y2 27

28 Als we een ware correlatie tussen twee variabelen X en Y willen onderzoeken, observeren we deze relatie via de onbetrouwbaar gemeten kenmerken x en y. X ware relatie r(x,y) Y Betrouwbaarheid r(x,x) Betrouwbaarheid r(y,y) x y Random meetfouten 28

29 Correctie van onbetrouwbaarheid Als je de onbetrouwbaarheid van twee kenmerken precies weet, kun je hun ware correlatie (de true score correlatie) berekenen uit de geobserveerde correlatie: r(x,y)= r(x,y)*r(x,x)*r(y,y) r(x,y) = r(x,y)/r(x,x)*r(y,y) Dit heet ook wel correction for attenuation. We moeten hiervoor wel exact r(x,x) en r(y,y) kennen. 29

30 Index en indicatoren In vragenlijsten worden constructen vaak gemeten via multiple (meerdere) indicatoren, die worden gemiddeld (of gesommeerd) tot een index (of schaal). Indicatoren: items. Index: construct, schaal, somscore, gemiddelde score. Uit de correlaties tussen de indicatoren kunnen we een schatting verkrijgen van de betrouwbaarheid van de index. 30

31 Cronbach s alfa De Cronbach s alfa geeft aan hoe betrouwbaar de items samen een construct meten. Cronbach s alfa geeft een schatting hoe de index gecorreleerd zou zijn met een volgende meting van die index. Ligt (bijna altijd) tussen 0 en 1. >.70 betekent een voldoende 31

32 De kracht van veel indicatoren Formule van Cronbach geeft twee determinanten van betrouwbaarheid van een index: De gemiddelde correlatie tussen je indicatoren De hoeveelheid indicatoren. Implicatie: ook met heel zwak correlerende indicatoren kun je heel betrouwbaar meten: als je er maar veel hebt!! 32

33 Correlatie en aantal indicatoren Aantal vragen Gemiddelde correlatie Hoe sterker de gemiddelde correlatie tussen de indicatoren, hoe betrouwbaarder de schaal Hoe meer indicatoren, hoe betrouwbaarder de schaal 33

34 Twee misverstanden (niet behandeld, wel belangrijk) De termen betrouwbaarheid en alfa kwamen we in de statistiek al eerder tegen, maar in een andere betekenis: Betrouwbaarheidsinterval: op basis van een steekproefgemiddelde/proportie voorspellingen doen over populatiegemiddelde/proportie Alfa: significantieniveau bij statistische toets (doorgaans.05). Deze twee dingen hebben betrekking op steekproefbetrouwbaarheid (confidence), niet op meetbetrouwbaarheid (reliability). 34

35 Betrouwbaarheidsanalyse in SPSS SPSS reliability berekent Cronbach s alpha voor een set indicatoren. En levert bij /summarize=total hoe alpha zou uitvallen wanneer we een indicator uit de set zouden verwijderen. Als we een indicator verwijderen die zwak met de rest correleert, kan de alpha omhoog gaan. Op deze manier kunnen we zoeken naar een subset van indicatoren met een zo hoog mogelijke betrouwbaarheid. 35

36 Oppassen (2x) Alle indicatoren moeten in dezelfde richting gepoold zijn Als je een of meerdere indicatoren inconsistent gepoold hebt, verlaagt dat de gemiddelde correlatie. In extreme gevallen kan de gemiddelde correlatie (en de berekende alpha) zelfs negatief worden (onzinnig). Je ziet inconsistente poling vaak goed in de correlatiematrix en ook in de corrected item-total correlation. Alle indicatoren moeten dezelfde meeteenheid hebben: Als de spreidingen van de variabelen verschillen en je corrigeert dit niet, dan worden deze spreiding gewichten in de constructie van de index. Verschillende meeteenheden kun je aan elkaar gelijk maken door standaardisatie: Z-scores, percentielen, dichotomiseren. 36

37 Item-Total Statistics BAAS Mijn leidinggevende biedt me hulp en begeleiding, zodat ik mijn prestaties kan verbeteren. Scale Variance Corrected Item- Cronbach's Scale Mean if Item Deleted if Item Deleted Total Correlation Alpha if Item Deleted BAAS Mijn leidinggevende gaat open en eerlijk met me om BAAS Mijn leidinggevende is rechtvaardig in de beoordeling van de prestaties die mensen leveren BAAS Mijn leidinggevende bevordert onderlinge samenwerking en teamvorming. BAAS Mijn leidinggevende zal me bij problemen met anderen altijd ondersteunen. BAAS Mijn leidinggevende geeft me onvoldoende feedback op mijn functioneren. BAAS Mijn leidinggevende staat open voor opbouwende kritiek op haar/ zijn functioneren. BAAS Ik heb vertrouwen in mijn leidinggevende Reliability Statistics Cronbach's Alpha N of Items

38 BAAS Mijn leidinggevende biedt me hulp en begeleiding, zodat ik mijn prestaties kan verbeteren. Item-Total Statistics Scale Variance Corrected Item- Cronbach's Scale Mean if Item Deleted if Item Deleted Total Correlation Alpha if Item Deleted BAAS Mijn leidinggevende gaat open en eerlijk met me om BAAS Mijn leidinggevende is rechtvaardig in de beoordeling van de prestaties die mensen leveren. BAAS Mijn leidinggevende bevordert onderlinge samenwerking en teamvorming. BAAS Mijn leidinggevende zal me bij problemen met anderen altijd ondersteunen. BAAS25r BAAS Mijn leidinggevende staat open voor opbouwende kritiek op haar/ zijn functioneren. BAAS Ik heb vertrouwen in mijn leidinggevende Reliability Statistics Cronbach's Alpha N of Items

39 Bestaat er een minimum voor betrouwbaarheid? In onderzoeksverslagen wordt vaak een minimumwaarde van betrouwbaarheid genoemd. Probleem is echter dat dit minimum nogal eens anders is en zich vaak aanpast aan de door de betreffende onderzoeker gevonden betrouwbaarheid. Je ziet wel: 0.80, 0.70, Vanuit de theorie bezien is elk criterium willekeurig en bovendien overbodig wanneer we de verkregen alpha zouden gebruiken om de onbetrouwbaarheid te corrigeren; dat kan net zo goed bij hoge als bij lage betrouwbaarheid. In deze cursus hanteren we de Sleebos norm:

40 Stappenplan betrouwbaarheid Stap 1: Beschrijven van de variabelen: poling (richting) en spreiding. Stap 2: ompolen, standaardiseren. Stap 3: Berekenen alpha, stapsgewijs optimaliseren van alpha. Stap 4: Construeren index door middeling van (gestandaardiseerde) indicatoren. Stap 5: Beschrijven van index; evt. opnieuw standaardiseren (het middelen van een gestandaardiseerde indicatoren levert NIET een gestandaardiseerde index op). 40

41 VALIDITEIT EN FACTORANALYSE 41

42 Factoranalyse = validiteitsanalyse Er is sprake van invaliditeit of systematische meetfouten wanneer een meting (indicator) meer dan een latente variabele (construct) meet. Het is een kwestie van smaak of je in deze situatie spreekt over systematische meetfouten of meerdimensionaliteit. 42

43 Meetfouten 43

44 Hoe ontstaan systematisch meetfouten? Je stelt vragen die over twee of meer onderwerpen tegelijk gaan. Je antwoordformuleringen zijn gevoelig voor respons-tendenties (response-set), bv: Ja-zeg neiging Sociale wenselijkheid 44

45 Vermijden van systematische meetfouten Stel je vragen over één ding Hou het kort Gebruik positief en negatief gepoolde vragen door elkaar. Of laat respondenten kiezen tussen twee extreme formuleringen Gebruik afwisselende en afwisselend vormgegeven antwoordformuleringen. 45

46 Diagnose Random meetfouten kun je diagnosticeren door de meting te herhalen; voor systematische meetfouten moet je de meetfout herhalen. Ook voor het opsporen van systematische meetfouten moet je dus meerdere indicatoren hebben. Je kunt dan multidimensionaliteit opsporen door factoranalyse, maar met het bekijken van de correlatiematrix kom je ook een eind. 46

47 Gevolgen van invaliditeit Systematische meetfouten leiden niet tot afzwakken van correlaties. Ze kunnen juist correlaties (kunstmatig) verhogen. Als je niet in de gaten hebt dat er sprake is van meerdimensionaliteit, kan invaliditeit ook betrouwbaarheid verhogen!! Maar invaliditeit leidt tot heterogeniteit van de correlatiematrix: je kunt de matrix in groepjes variabelen clusteren. Gevolgen van systematische meetfouten: kunnen heel beperkt zijn (als iedereen dezelfde fout maakt, veranderen correlaties NIET). 47

48 Opsporing: Factoranalyse We kunnen de hoeveelheid en aard van dimensies opsporen via factoranalyse. Deze statistische techniek is het eerst ontwikkeld bij intelligentie-onderzoek en is een typisch psychometrische techniek (meeste andere technieken komen uit de agronomie / biologie). Door deze specifieke herkomst verschilt de terminologie nogal van correlatie- en regressieanalyse en zijn er allerlei vreemde termen die we elders in de statistiek niet of in andere betekenis ( factor ) tegenkomen. 48

49 Factor- en componentenanalyse Er bestaan twee verschillende varianten van factoranalyse: Latente factoranalyse Principale componentenanalyse. Hoewel beide varianten nogal verschillen wat betreft achterliggende model, komen er ongeveer dezelfde uitkomsten uit. We leggen de techniek uit aan de hand van latente factoranalyse, maar doen in feite componentenanalyse. 49

50 Het model (initieel - 1) F1 y1 y2 y3 y4 y5 y6 50

51 Het model (initieel - 2) F1 F2 y1 y2 y3 y4 y5 y6 51

52 Het model (initieel - 3) F1 F2 F3 y1 y2 y3 y4 y5 y6 52

53 Het model na rechte rotatie F1 F2 y1 y2 y3 y4 y5 y6 53

54 Het model na scheve rotatie F1 F2 y1 y2 y3 y4 y5 y6 54

55 De kruislading We constateren invaliditeit (het feit dat een indicator meerdere latente variabele meet) aan de hand van een kruislading: er bestaan relaties tussen een indicator en meerdere latente variabelen. Indien er sprake is van een kruislading, kunnen we de betreffende indicator niet meer gebruiken voor het construeren van een index. Het is enigszins arbitrair wanneer we spreken van een kruislading. De Sleebos-norm hier is

56 Het model met kruislading F1 F1 Kruislading y1 y2 y3 y4 y5 y6 56

57 Voorbeeld Als voorbeeld van factor- en betrouwbaarheidsanalyse heb ik de thuisopdracht 1 van vorig jaar op BB gezet. (Deze lijkt wel wat op de practicumopdracht 1 en thuisopdracht 1 van dit jaar.) De stappenplannen van factor- en betrouwbaarheidsanalyse worden hierin stapsgewijs uitgevoerd. 57

58 Stappenplan factoranalyse (1) Stap 1: bekijken van de indicatoren. Anders dan bij betrouwbaarheidsanalyse is consistente poling en vergelijkbare spreiding bij factoranalyse geen vereiste. Stap 2: Bepaal het aantal latente factoren aan de hand van de eigenwaarden: Het aantal factoren is gelijk aan het aantal eigenwaarden > Plot de eigenwaarden in een knikplot ( scree-plot ): het aantal factoren is gelijk aan knik-1. Deze twee criteria stemmen niet altijd overeen!! 58

59 Stappenplan factoranalyse (2) Stap 3: Kies scheve rotatie en analyseer de ladingen in de patternmatrix. (Het is even zoeken om deze te vinden.) Stap 4: Verwijder indicatoren met kruisladingen (>.30) en herhaal de analyse tot je een schone patternmatrix vindt. Stap 5: Het is vaak nuttig om oplossingen te vergelijken waarin het aantal latente variabelen (factoren) gevarieerd wordt. 59