Academiejaar EERSTE ZITTIJD. Universiteit Antwerpen Instituut voor Onderwijs- en Informatiewetenschappen

Transcriptie

1 Academiejaar EERSTE ZITTIJD Universiteit Antwerpen Instituut voor Onderwijs- en Informatiewetenschappen Samen-werkingsvaardigheden beoordelen, goed idee? Multilevel-analyse van het self- en peerassessment samenwerker in de gezondheidszorg IPSIG 2015 Jeroen Goris Masterproef voorgelegd met het oog op het behalen van de graad van master in de Opleidings- en Onderwijswetenschappen Promotor: Prof. Dr. D. S. De Maeyer Co-promotor: Drs. G. Tsakitzidis

2 Inhoud Perstekst... iii Samenvatting... iv Abstract... v Voorwoord... vi 1 Inleiding Onderzoek over samenwerking in gezondheidszorg Afbakening en omschrijving van het onderzoeksobject: het IPSIG-model Van CanMEDS naar IPSIG samenwerker Onderzoek naar assessment Probleemstelling Onderzoeksvragen Hoofdvraag Bijvragen Methode Data-verzameling Techniek Resultaten Hoofdvraag Bijvragen De invloed van self- of peer De invloed van studieduur, opleiding en land beoordeelde Rolscores Overzicht rolscores Discussie Lijsten Figuren Tabellen...32 i

3 6 Bibliografie Bijlagen Contactgegevens Code-tabel Voorbeeldscript CanMEDS...40 ii

4 Perstekst Samen-werkingsvaardigheden beoordelen, goed idee? Samenwerken in de gezondheidszorg is belangrijk. De zorg voor patiënten is afhankelijk van alle zorgverleners samen. In de opleiding van gezondheidswerkers neemt samenwerken dan ook een belangrijke plaats in. Aan de UA loopt al meer dan 10 jaar de IPSIG-module. In deze module gaan laatstejaarsstudenten uit verschillende opleidingen gezondheidszorg aan de slag rond samenwerkingsvaardigheden. Gedurende een week werken meer dan 700 studenten in kleine teams aan de ontwikkeling van samenwerkingsvaardigheden. Deze module is een vak als een ander en daar horen punten bij. Die punten komen op het diploma. Dat maakt de beoordeling van IPSIG voor iedere student belangrijk. Niet het minst voor de laatstejaars studenten geneeskunde voor wie dit punt mee hun kansen voor specialisatie bepaalt. Een deel van de beoordeling doen de studenten zelf. In een zorgteam maken ze samen een beoordeling van elkaars samenwerkingsvaardigheden van de voorbije week. Men beoordeelt mekaar als expert, communicator, teamspeler, manager, belangenbehartiger, levenslang lerende en professional. Dit zijn de rollen die een samenwerker definieert. In deze masterproef onderzocht Jeroen Goris hoe het samen beoordelen de samenwerkingsvaardigheden in beeld brengt. Uit de gegevens blijkt dat artsen goed scoren voor een aantal rollen. Artsen blinken uit in expertise, communicatie, management, levenslang leren en professioneel handelen. In dat professioneel handelen worden ze gevolgd door kinesitherapeuten. Bachelors vallen op als belangenbehartigers en hierbinnen vallen orthopedagogen en sociaal werkers dan weer extra op. Dit alles doet vermoeden dat we studenten kunnen vertrouwen in de manier waarop ze mekaar beoordelen. Er is wel nog werk aan de winkel om goed te weten wat samen werken doet werken. Samenwerking verder onderzoeken en self- en peerassessment verfijnen zijn de voornaamste conclusies van deze masterproef. iii

5 Samenvatting Samen-werkingsvaardigheden beoordelen, goed idee? Multilevel-analyse van het self- en peerassessment samenwerker in de gezondheidszorg IPSIG 2015 Inleiding IPSIG staat voor InterProfessioneel Samenwerken In de Gezondheidszorg. Het is een module van de faculteit geneeskunde en gezondheidswetenschappen van de Universiteit Antwerpen, de departementen gezondheidszorg, voedings- en dieetkunde en sociale agogiek van de AP Hogeschool Antwerpen, de departementen gezondheidszorg en sociale agogiek van de Karel de Grote-Hogeschool en het departement toegepaste psychologie en logopedie-audiologie van de Thomas More Hogeschool. Meer dan 700 laatstejaarsstudenten kwamen in 2015 bij mekaar en leerden ze van, met en over elkaar over en aan samenwerking. De beoordeling van het samenwerkingsgedrag gebeurt aan de hand van een groepsevaluatie en een self- en peerassessment. In dit onderzoek stond het self- en peerassessment centraal. Meer specifiek werd nagegaan in hoeverre de variantie in de scores van de beoordeelde toe te wijzen is aan de beoordeelde. Dat leidde tot volgende onderzoeksvraag: hoe groot is het aandeel van de variantie in de scores van het samenwerkingsgedrag dat kan worden toegeschreven aan de ware score van de beoordeelde zelf? Methode De gegevens van het self- en peerassessment van 2015 werden verzameld, ze werden aangevuld met studentenkenmerken uit de IPSIG- administratie. Op deze manier ontstond een databank met meer dan 5000 lijnen. Met multi-level- analyse werd nagegaan waar de dekking van de variantie aan toe te wijzen viel. Resultaten Uit de analyse van de verzamelde data blijkt dat 37% van de beoordeling van de samenwerkingsvaardigheden toe te schrijven is aan de unieke kenmerken van de beoordeelde. 11% valt toe te schrijven aan de unieke kenmerken van de beoordelaar. De resterende 52% is niet traceerbaar in de data. Discussie Het self- en peerassessment is voor verbetering vatbaar. De centrale concepten duidelijker maken is wenselijk. Verder onderzoek van de beschikbare data is aangewezen. Onderzoek naar de wezenlijke kenmerken van samenwerkingsvaardigheden is nodig. iv

6 Abstract Assessing working together, a good idea? Multilevel-analysis self- en peerassessment of the interprofessional skills in health care IPSIG 2015 Introduction IPSIG is a Dutch acronym that stands for Interprofessional collaboration in health care. It s a module of the faculty health care of the UA, the departements health care, nutritionist and diet, social work, psychology, speech therapist and audiology of AP Hogeschool Antwerpen, Karel de Grote-Hogeschool and Thomas More Hogeschool. More than 700 last year students gathered in 2015 in this module and worked on their interprofessional skills. The assessement of these collaboration skills was made partially with a self- and peerassessement. The aim of this study was to examin the reliability of this self- and peerassessement. The main research question was: is the self- and peerassessement capable to detect the unique part of the variance in the collaboration skills of the assessee? Method A data-set of the self- and peerassessement 2015 was made. The data was enriched with the student attributes form the IPSIG-administration. By this manner were more than 5000 lines have been collected with unique self- and peerassessements. Multilevelanalysis was used to examine the data. Results According to the analysis of the current data-set 37% of the assessement of the collaboration skills is due to the unique features of the assessee. 11% is due to the assessor. 52% is not traceable in the data. Discussion Improvement of the self- and peerassessement is necessary. The concepts used at present need revision. Further investigation of the available data is recommended. Further research of intercollaborative skills is necessary. v

7 Voorwoord Ik werk sinds 1995 aan de AP Hogeschool in het departement Gezondheid en Welzijn. In 2004 startte men daar met de IPSIG-module. Vanaf het begin ben ik actief als tutor in dit project. De IPSIG-module is een project waarin Interprofessioneel Samenwerken In de Gezondheidszorg centraal staat. In dit project komen laatstejaarsstudenten van diverse opleidingen gezondheidszorg en welzijn samen gedurende een week. IPSIG loopt ondertussen al meer dan 10 jaar en heeft stijgend succes. Dat is merkbaar aan het toenemend aantal deelnemende en internationale studenten. De IPSIG-module van telde 761 studenten. De IPSIG-module is een project waarin toekomstige gezondheidsprofessionals werken aan de competentie van samenwerker in de gezondheidszorg. Die competentie helpen verwerven is de moeite waard. Met deze masterproef wil ik graag een bijdrage leveren aan het innovatieve onderwijs dat IPSIG is. Bij het maken van de masterproef was de begeleiding van co-promotor Drs. Giannoula Tsakitsidis, promotor Prof. Dr. Sven De Maeyer en Drs. Tinne van Daal een waar genoegen. Een speciaal woord van dank gaat naar Lucky Botteldooren. Hoewel wij elkaar in het kader van deze masterproef nooit gesproken of gezien hebben heeft zij me geweldig geholpen. Lucky is immers de dame die het roosterwerk en de deelnamelijsten van de IPSIG-module verzorgt. Zonder haar nauwgezette werk zou de data-set nooit de kwaliteit gehaald hebben die ze nu heeft. Deze masterproef zou er niet zijn zonder de steun van mensen uit mijn omgeving. Dat zijn in de eerste plaats mijn levensgezel Peggy Delissen en mijn ouders. Hun steun kan ik alleen maar beschrijven als liefdevol. Last but nog least dank ik ook graag Katelijne Goris, Paul Heeffer en Thomas Voets voor hun redigeerwerk. Jeroen Goris Mei 2015 vi

8 1 Inleiding 1.1 Onderzoek over samenwerking in gezondheidszorg Gezondheidszorg maakt deel uit van het leven van iedereen in onze Westerse samenleving. Vanaf de geboorte, tijdens de ontwikkeling, bij ziekte, zelfs bij gezondheid en vaak bij het sterven komt eenieder in contact met gezondheidszorg. De inspanning die de samenleving levert om deze zorg waar te maken is groot. Goede gezondheid dankzij goede gezondheidszorg, is het mooiste kapitaal dat een samenleving zich kan wensen. Een samenleving is geen statisch gegeven. Veranderingen en evoluties maken er onlosmakelijk deel van uit. Hoewel mensen over het algemeen argwanend naar veranderingen kijken is onze huidige samenleving rijker en gezonder dan vroeger. Daarenboven leven we langer dan wanneer ook in de geschiedenis (Bregman, 2013). Het zou een goede zaak zijn, mocht deze evolutie zich verder blijven zetten. Daarvoor zijn blijvende en voortdurende inspanningen nodig. De inspanningen die we moeten leveren worden geïnitieerd door evoluties in samenleving. Deze evoluties hebben duidelijke gevolgen voor de gezondheidszorg. Een eerste evolutie is de verbetering van de welvaart. Door deze verbetering worden de burgers ouder. Vergrijzing is een vraagstuk van deze tijd. Een tweede evolutie is dat het almaar makkelijker wordt om kennis te delen. Als gevolg daarvan neemt kennis exponentieel toe. De gevolgen van beide evoluties voor de gezondheidszorg zijn duidelijk. Enerzijds wordt door de toenemende vergrijzing de zorg chronischer en complexer van aard. Anderzijds zorgt de exponentieel toenemende kennis er voor dat niemand nog in staat is alle relevante informatie van zijn vakgebied te overzien. Toenemende specialisatie is het gevolg. Hierdoor ontstaat er in de gezondheidszorg toenemende onderlinge afhankelijkheid. Deze afhankelijkheid heeft effect op de praktijk van de gezondheidszorg. Deze effecten zijn als volgt samen te vatten (Frenk et al., 2010). Ten eerste is er de evolutie van geïsoleerd uitgevoerde naar geharmoniseerde zorg. Om een voorbeeld te geven, in revalidatiecentra werken artsen, verpleegkundigen, kinesitherapeuten en ergotherapeuten nauw samen rond revalidatie van hun patiënt. Ten tweede is er de evolutie van afzonderlijke gezondheidszorg naar netwerken in gezondheidszorg. Ziekenhuizen bijvoorbeeld wisselen expertise en informatie aan mekaar uit over zorg en patiënten. Ten derde verandert de 1

9 houding van organisaties ten aanzien van de informatie waarover ze beschikken. Het verdelen van informatie wordt belangrijker dan het bewaren ervan. Het digitaal patiëntendossier is hiervan een mooi voorbeeld. Dit alles heeft gevolgen voor de individuele arts, psycholoog, voedingsdeskundige, ergotherapeut, kinesitherapeut, logopedist, maatschappelijk assistent, verpleegkundige, vroedvrouw en alle andere gezondheidswerkers die door de toenemende specialisatie nog zullen ontstaan. Een van die gevolgen is de toenemende aandacht voor en nood aan samenwerken in de gezondheidszorg. Dat gevolg is de focus van deze tekst. In de literatuur wordt samenwerken in de gezondheidszorg op verschillende manieren omschreven. Frenk et al. (2010) hanteren het begrip transformatief leren. Daar staat het leren binnen teams centraal. In deze masterproef hanteren we het begrip interprofessioneel samenwerken zoals beschreven in het IPSIG-handboek (Tsakitzidis & Van Royen, 2012). Daarin beschrijft men een interprofessioneel model. Het model beschrijft de kenmerken van het team en haar leden als volgt: de aanwezigheid van overlegmomenten tussen verschillende professionals, de ontwikkeling van een gemeenschappelijke visie en een doelgerichte aanpak in samenspraak met elkaar én met gedeelde verantwoordelijkheid. Uiteindelijk ontstaat hierdoor interdisciplinariteit. Deze interdisciplinariteit harmoniseert de relaties tussen de disciplines. Deze kenmerken komen terug in de definitie van Woods en West (2012) pag. 28. Zij beschrijven een team als een relatief kleine groep mensen die samenwerken aan een uitdagend doel. Deze groep beseft dat ze structureel afhankelijk is van elkaar om dit doel te bereiken. De groep verdeelt rollen en ze heeft de mogelijkheid om autonoom beslissingen te nemen over middelen om dat doel te bereiken. Een goed werkend team is het resultaat van interprofessioneel samenwerken. Interprofessionele samenwerking is ook onderwerp van onderzoek. Ondanks alle argumenten pro samenwerking zijn de vaststellingen van de onderzoekers ontnuchterend. Morrisons en Glenny (2011) stellen bijvoorbeeld dat er weinig evidentie is die aantoont dat interprofessionele samenwerking de verhouding tussen nood en het aanbod van zorg verbetert. Zwarenstein, Goldman, and Reeves (2009) concluderen dat er gematigd positieve effecten van interprofessionele samenwerking zijn. Enkel recent werk over teamwork in acute ziekenhuizen (Lyubovnikova, West, Dawson, & Carter, 2014) stelt de positieve effecten van teamwork vast in vergelijking met naast mekaar werken: met name een daling van de mortaliteitcijfers, een vermindering van personeelswisselingen en een daling van het ziekteverzuim. 2

10 Naast onderzoek in interprofessionele samenwerking wordt er ook onderzoek gevoerd naar onderwijs in interprofessionele samenwerking. Eén van de eerste rapporten die hiervoor een pleidooi houdt verscheen in In Learning together to work together for health roept het WHO expliciet op tot Multiprofessional education of health personnel (WHO, 1988, pag. 18). Sindsdien is het belang naar onderwijs in interprofessionele samenwerking alleen maar toegenomen en stelt men ook vast dat het onderwijs deze trend volgt (Abu-Rish et al., 2012). Wanneer men onderzoek voert naar onderwijs in interprofessioneel samenwerken, dan focust men vaak op het deel evaluatie en assessment. Dat is niet verwonderlijk omdat evaluatie en assessment rijk aan data is. Bovendien neemt assessment binnen het onderwijssysteem een voorname plaats in. Het werk van Freeth (2002) is een mooi voorbeeld waar evaluatie centraal staat. Ook Simmons and Wagner (2009) focussen op assessment. Helaas blijkt uit onderzoek over evaluatie en assessment dat er weinig evidentie beschikbaar is. En, studies zoals die van Wagner stellen dat de weinige beschikbare evidentie zwak is. De reden ligt in het feit dat de lage kwaliteit van de gevoerde evaluaties (Freeth, 2002 pag. 54). Die kwaliteit is laag omdat er vele conceptuele en praktische moeilijkheden zijn die een oplossing verdienen (Simmons & Wagner, 2009). Een vaak voorkomend probleem is dat de hoeveelheid en de kwaliteit van de verzamelde data te laag ligt. Daarenboven is het in kaart brengen van samenwerkingsvaardigheden moeilijker dan bijvoorbeeld technische of praktische vaardigheden. Specifiek inzake samenwerkingsvaardigheden stellen voornamelijk kleine en korte- termijnverbeteringen vaststellen (Kenaszchuk, Rykhoff, Collins, McPhail, & van Soeren, 2012). Sommige onderzoekers zijn positiever en spreken van eerder gematigde positieve gevolgen (Reeves, Perrier, Goldman, Freeth, & Zwarenstein, 2013). Kortom, ondanks alle argumenten pro interprofessionele samenwerking en ondanks de geleverde onderzoeksinspanningen, is er tot op heden weinig bewijs beschikbaar die de effectiviteit aantoont van onderwijs in interprofessionele samenwerking. Hetzelfde geldt voor interprofessioneel samenwerken in de praktijk. De vermelde studie van Lyubovnikova et al. (2014) is hierop een uitzondering. Deze studie is tot nu toe de enige die duidelijk een verband aantoont tussen samenwerking en outcome. Maar, zelfs wanneer we deze laatste studie in rekening brengen is er een zekere evidence gap tussen de vermeende resultaten en de vastgestelde resultaten. Onderzoekers van eerder genoemde studies geven in hun conclusies aan in welke richting onderzoek dient te gaan. Freeth (2002) concludeert: 3

11 All educational innovators should operate a plan- do- study- act cycle to ensure high quality, well targeted provision. However, the practice and academic communities do not need a published account of every interprofessional learning experience. Data saturation would soon be achieved. What is required is: - A smaller number of comprehensive evaluations of different types of interprofessional education. - Evaluation of innovation, in the pedagogy and evaluation. - Prospective studies with lengthy follow-up periods. Enquiries of this nature will ensure that the interprofessional education practice of the future is informed by robust evidence for effectiveness across the wide range of provision that this review has demonstrated exists. Voor ons onderzoek zijn de uitspraken van Freeth een leidraad. Met de IPSIG-module beschikken we immers over een innovatieve manier om interprofessionele samenwerking te oefenen. Het is een module die jaarlijks een rijke set aan data over evaluatie genereert. Deze data biedt de gelegenheid om de evaluatie naar waarde te schatten en te verbeteren. Het is ook mogelijk om stelselmatig een data-set te creëren die jaren overspant. Daarmee is het misschien mogelijk om aan te tonen dat onderwijs in interprofessioneel samenwerken daadwerkelijk tot betere gezondheidswerkers leidt. Het zou jammer zijn mocht deze data onaangeroerd blijven. 1.2 Afbakening en omschrijving van het onderzoeksobject: het IPSIG-model IPSIG staat voor InterProfessioneel Samenwerken In de Gezondheidszorg. De IPSIGmodule is een vernieuwend pedagogisch project dat een antwoord tracht te geven op de uitdagingen van interprofessioneel onderwijs. Het is innovatief van aard en is naar alle waarschijnlijkheid het enige project van deze omvang waar interprofessionele samenwerking centraal staat. De IPSIG-module is tot stand gekomen door de samenwerking van de faculteit geneeskunde en gezondheidswetenschappen van de Universiteit Antwerpen, de departementen gezondheidszorg, voedings- en dieetkunde en sociale agogiek van de AP Hogeschool Antwerpen, de departementen gezondheidszorg en sociale agogiek van de Karel de Grote Hogeschool en het departement toegepaste psychologie en logopedie-audiologie van de Thomas More Hogeschool (Tsakitzidis & Van Royen, 2012). 4

12 De IPSIG-module streeft de competentie van samenwerker in de gezondheidszorg na. Deze competentie zouden we kunnen omschrijven als volgt: een student die kennis en begrip van andere disciplines heeft, over gemeenschappelijke doelen communiceert en zich flexibel opstelt in het kader van de behandeling van patiënten kan je een competente samenwerker in de gezondheidszorg noemen. De IPSIG-module wordt sinds elk academiejaar georganiseerd, altijd in de periode rond 1 maart. De module maakt deel uit van het onderwijscurriculum van de participerende opleidingen. Voor de meeste opleidingen is het ondertussen een verplicht opleidingsonderdeel van het curriculum geworden. Sinds academiejaar is er ook een IPSIG-2 module ontwikkeld voor de voortgezette of gespecialiseerde opleidingen (Tsakitzidis & Van Royen, 2012 pag ). In deze masterproef staat enkel de IPSIG-1- module centraal. Voor het gemak spreken we verder in deze tekst over IPSIG. Figuur 1 Foto van een IPSIG leergroep met handboek (Foto JG 1/3/2011) De evaluatie van elke deelnemende student van de IPSIG-module bestaat uit twee grote en evenwaardige delen. Een eerste deel bestaat uit een beoordeling van het individuele portfolio en een tweede deel bestaat uit een beoordeling van het gedrag tijdens het samenwerken in de interprofessionele groep (zie Figuur 2). Het portfolio wordt beoordeeld op zijn volledigheid en kwaliteit. De volledigheid wordt met een checklist door de tutor nagekeken op het einde van de IPSIG-module. Een tweede controle van de volledigheid gebeurt door de lesgever van de respectievelijke 5

13 opleiding die ook de kwaliteit van de portfolio-elementen beoordeelt. Zo wordt het portfolio van een arts door een docent van de faculteit huisartsengeneeskunde beoordeeld. De evaluatie van het samenwerken in de interprofessionele groep gebeurt door de student zelf (het self-assessment) en door zijn medestudenten (het peer-assessment). Het resultaat van deze beoordeling wordt gecombineerd met de groepsevaluatie. De groepsevaluatie wordt door de tutor van de leergroep gedaan (het co-assessment). Dit alles vormt de beoordeling van het samenwerkingsgedrag. Figuur 2 brengt dit geheel in kaart. Figuur 2 Evaluatieschema IPSIG 1 voor de competentie 'samenwerker in de gezondheidszorg' De score die de student uiteindelijk op de moduleweek behaalt, is de som van de score op het portfolio en de score op het samenwerkingsgedrag. De IPSIG-module neemt in de diverse opleidingen een andere plaats in. In sommige opleidingen is het een afzonderlijk opleidingsonderdeel. In andere opleidingen maakt het deel uit van een groter opleidingsonderdeel (bijvoorbeeld stage). Meestal neemt de IPSIG-module 3 studiepunten in van een modeltraject dat uit 60 studiepunten bestaat. Het resultaat van de IPSIG-module is daarmee ook opgenomen in het eindresultaat van de studenten. In de meeste gevallen is de impact van 3 studiepunten beperkt. Voor sommige studenten kan het resultaat van de IPSIG-module 6

14 verschil maken in de graadbepaling bij afstuderen (bijvoorbeeld slagen met onderscheiding in plaats van met voldoening). Wat betreft de opleiding tot arts is het belang van de IPSIG-module dan ook niet te onderschatten. Het aantal beschikbare plaatsen om te specialiseren is immers beperkt. De uiteindelijke keuze voor de ene of andere student gebeurt aan de hand van de studieresultaten. Daarmee kan het resultaat op de IPSIG-module het verschil maken tussen specialiseren of niet. 1.3 Van CanMEDS naar IPSIG samenwerker Binnen de IPSIG-module neemt het CanMEDS-model een opvallende plaats in (Figuur 3). CanMEDS staat voor Canadian Medical Education Directives for Specialists. Het model beschrijft de generieke competenties die van belang zijn voor een moderne arts. Dit model is ontwikkeld voor gebruik door leerkrachten, studenten, onderzoekers, praktiserende artsen, overheid en patiënten (Frank, Jalbour, & al., 2005). Het model is specifiek voor artsen ontwikkeld maar wordt ook in andere (para)medische beroepen gehanteerd. Bijvoorbeeld de verpleegkunde-opleiding van de AP Hogeschool. Figuur 3 CanMEDS-model (Frank et al., 2005) De CanMEDS beschrijft zes competenties of rollen die samen de Medical expert vormen. Medical expert, het centrale begrip in de CanMEDS, is geen rol op zich, maar het eindresultaat van de integratie van alle competenties. Voor meer informatie over de verschilllende rollen zie pag. 40. Binnen de IPSIG-module gebruikt men de CanMEDS als basis voor het model Samenwerker in de gezondheidszorg. Zoals in de CanMEDS de Medical experts centraal 7

15 staan, staat in het IPSIG- model Samenwerker in de gezondheidszorg centraal. Deze rol wordt waargemaakt door zeven rollen te vervullen. Deze rollen worden verder toegelicht in Tabel 1 (Tsakitzidis & Van Royen, 2012, pag ). # Toelichting 0.Samenwerker in de Dit is het centrale concept. Samenwerker in de gezondheidszorg gezondheidszorg is een competentie. Het is de integratie van de verschillende rollen die verder gehanteerd worden. 1.Communicator De competenties van deze rol zijn erg belangrijk om een goede therapeutische relatie met de cliënt en zijn systeem te kunnen opbouwen. Slechte of onvolledige communicatie kan immers leiden tot ongewilde uitkomsten. Een effectieve communicatie kan cruciaal zijn voor de cliënt. 2.Teamspeler Door de toegenomen complexiteit van zorg voor een cliënt zijn we verplicht samen te werken. Iedere hulpverlener is impliciet of expliciet lid van een team. Beseffen dat je deel uitmaakt van een team dat zorgt voor de cliënt is erg belangrijk. Het is essentieel om te kunnen samenwerken met de cliënt, zijn familie en andere betrokken professionals. Het is belangrijk in het kader van zorg voor de cliënt, maar ook in het kader van zorg voor alsmaar toenemende professionaliteit. Elke teamspeler neemt deel aan het teamgebeuren en draagt er verantwoordelijkheid voor. Hij communiceert in het samenwerken doeltreffend met de teamleden en participeert actief en effectief met de anderen binnen het team. De teamspeler geeft feedback en kan omgaan met conflicten en erkent hierbij zijn eigen aandeel. 3.Manager De rol van manager wordt hier vooral begrepen als actief lid van een team dat keuzes moet maken en beslissingen moet nemen binnen de werking van het gezondheidssysteem. Hij formuleert realistische doelen en hanteert een doeltreffend middelen-management, ontwikkelt vaardigheden voor doeltreffend tijdsmanagement en zelfevaluatie. Bovendien is hij in staat te coördineren, werkt taak- en procesgericht en kan participerend leiden. 4.Belangenbehartiger De belangenbehartiger herkent de situatie waarbij belangenbehartiging voor het cliëntsysteem en het team 8

16 functioneren noodzakelijk is en handelt gepast. Hij komt binnen een interprofessioneel team op voor de belangen van het cliëntsysteem en ijvert voor een goede interprofessionele samenwerking ten voordele van het cliëntsysteem en de gezondheidszorg in het algemeen. 5.Levenslang lerende De levenslang lerende verwerft de nodige kennis en competenties om professionele taken en interprofessionele samenwerking in een snel veranderende samenleving beter aan te kunnen. Hij ontwikkelt zijn eigen deskundigheid door wetenschappelijke literatuur te raadplegen en door bijscholingen te volgen en kan het ontwikkelen van eigen deskundigheid in zijn leerstrategie implementeren. Deze attitude wordt in het team overgebracht. De levenslang lerende is in staat om het eigen gedrag binnen interdisciplinaire samenwerkingsverbanden kritisch te bekijken (analyseren op gedrag, doelen, weten (visies), gevoelens, waarden en achtergronden), om tot (nieuwe) inzichten te komen en zo effectief stappen te zetten om zijn functioneren te verbeteren. Door de kritische reflectie zorgt hij ervoor dat continu verbeteren, herkaderen en transformeren aan de orde zijn. 6.Professional De professional vertoont professioneel gedrag gericht op het verbeteren van het cliëntgericht interprofessioneel samenwerken. Hij is altijd bereid om constructief en coöperatieve relaties te ontwikkelen met de betrokken intraen interprofessionele collega s met het oog op de zorg voor het cliëntsysteem. Hij is bereid en in staat om persoonlijke motieven en/of doelstellingen van de eigen beroepsgroep ondergeschikt te maken aan het streven naar de optimalisering van de kwaliteitsvolle zorg voor het cliëntsysteem. Hij respecteert de deontologische code en neemt weloverwogen ethisch verantwoorde beslissingen. 7.Expert De expert (h)erkent diverse beroepsspecifieke bevoegdheden binnen een interprofessioneel team. Hij is zich bewust van de eigen grenzen op het gebied van professionele expertise en hij kan de rol en 9

17 verantwoordelijkheden van de eigen discipline en van de andere disciplines observeren, beschrijven en erkennen. Hij kan in overleg de bevoegdheidsgrenzen van elke discipline bepalen en kan functioneren binnen deze bevoegdheidsgrenzen met respect voor de autonomie van de andere professionals en stelt zich hierbij als lerende op met het oog op het verbeteren en verbreden van de eigen expertise. Tabel 1 IPSIG-model: Samenwerker in de gezondheidszorg Het IPSIG-model Samenwerker in de gezondheidszorg verschilt van het oorspronkelijke CanMEDS. Het meest opvallende verschil zit in het centrale concept. Medical Experts (CanMEDS), wordt Samenwerker in de gezondheidszorg (IPSIG). Medical Experts wordt in het IPSIG-model niet meer als centraal concept gebruikt maar wordt hernomen als Expert. Door deze verschuiving verandert de betekenis van dit concept en krijgt het IPSIG- model 7 rollen. De verschillen tussen de betekenis van Medical experts/ Expert kan je terugvinden in Tabel 2: hier worden beide concepten naast elkaar geplaatst. De opsomming van de rollen vind je terug in Tabel 4. # Toelichting 0.Medical As Medical Experts, physicians integrate all of the CanMEDS Roles, experts applying medical knowledge, clinical skills, and professional attitudes in (CanMEDS) their provision of patient-centered care. Medical Expert is the central physician Role in the CanMEDS framework. 7. Expert De expert (h)erkent diverse beroepsspecifieke bevoegdheden binnen een (IPSIG) interprofessioneel team. Hij is zich bewust van de eigen grenzen op het gebied van professionele expertise en hij kan de rol en verantwoordelijkheden van de eigen discipline en van de andere disciplines observeren, beschrijven en erkennen. Hij kan in overleg de bevoegdheidsgrenzen van elke discipline bepalen en kan functioneren binnen deze bevoegdheidsgrenzen met respect voor de autonomie van de andere professionals en stelt zich hierbij als lerende op met het oog op het verbeteren en verbreden van de eigen expertise. Tabel 2 Medical experts (CanMEDS)- Expert (IPSIG) In het IPSIG-model handelt expert over expertise binnen het eigen beroep. In het CanMEDS-model gaat medical expert eerder over iemand die excelleert in zijn beroep volgens de zes vooropgestelde rollen. 10

18 Verder zijn er nog enkele verschillen en parallellen vast te stellen. Wat betreft communicator, teamspeler, belangenbehartiger en levenslang lerenden zijn er overwegend parallellen te trekken. De invulling van manager verschilt. De manager in het IPSIG- model wordt vooral gekenmerkt als iemand die beslissingen neemt op het behandelingsniveau. In het CanMEDS is de manager iemand die deelneemt op de verschillende niveaus van de instelling. In Tabel 3 worden deze verschillende rollen naast elkaar geplaatst. # Toelichting 3.Managers As Managers, physicians are integral participants in healthcare (CanMEDS) organizations, organizing sustainable practices, making decisions about allocating resources, and contributing to the effectiveness of the healthcare system. 3.Manager De rol van manager wordt hier vooral begrepen als actief lid van een team (IPSIG) dat keuzes moet maken en beslissingen moet nemen binnen de werking van het gezondheidssysteem. Hij formuleert realistische doelen en hanteert een doeltreffend middelen-management, ontwikkelt vaardigheden voor doeltreffend tijdsmanagement en zelfevaluatie. Bovendien is hij in staat te coördineren, werkt taak- en procesgericht en kan participerend leiden. Tabel 3 Managers (CanMEDS)- Manager (IPSIG) In het IPSIG-model gaat manager eerder over de werking van een team. Binnen het CanMEDS-model is een manager iemand die deelneemt aan het bestuur, bijvoorbeeld het middenkader, van een instelling. Tabel 4 vat de verschillen tussen beide modellen samen. # CanMEDS? # IPSIG- model Medical experts Samenwerker in de gezondheidszorg 1.Communicators = 1.Communicator 2.Collaborators = 2.Teamspeler 3.Managers 3.Manager 4.Health Advocates = 4.Belangenbehartiger 5.Scholars = 5.Levenslang lerende 6.Professionals = 6.Professional + 7.Expert Tabel 4 CanMEDS en IPSIG vergeleken 11

19 Het IPSIG- model vormt de basis voor het assessment om het samenwerkingsgedrag van de individuele student in kaart te brengen. Dit onderzoek richt zich dan ook naar dit onderdeel van de evaluatie (Figuur 2). Figuur 4 Foto van een IPSIG studiegroep tijdens de evaluatie met schema van het IPSIG- model (Foto JG 26/2/2014) 1.4 Onderzoek naar assessment Wanneer men het over assessment heeft, gaat het over een evaluatie in een levensechte situatie of het beoordelen van competenties. Assessment wordt gebruikt om het leerproces bij te sturen of om het te beoordelen. Wanneer het gaat om bijsturen, spreekt men van een formatief assessment. Wanneer het gaat om beoordeling, dan spreekt men over een summatief assessment. Andere onderzoekers spreken over assessment voor het leren en assessment van het leren (Stiggins, Arter, Chappuis, & Chappuis, 2004). Beide vormen van evaluaties leveren veel data op, maar de betrouwbaarheid en de validiteit van de gegevens verschillen. Een summatieve evaluatie stelt strengere eisen aan betrouwbaarheid en validiteit dan een formatieve (Harlen, 2007). Binnen de IPSIG-module kunnen we spreken van een summatief assessment van het samenwerkingsgedrag (zie Figuur 2). De resultaten (cijfers) worden immers gebruikt om een beoordeling te maken. Het assessment wordt in het handboek (Tsakitzidis & Van Royen, 2012) beschreven als een self- en peerassessment. Self- en peer assessment 12

20 vormen een geheel wanneer studenten elkaar en zichzelf binnen een groep evalueren. Deze combinatie van beoordelen verplicht studenten om te reflecteren over het eigen leerproces en activiteiten, en wel in vergelijking met die van anderen in de groep. Wanneer we het assessment nauwer bestuderen dan valt er ook een element van coassessment op. Hoewel dit element niet als zodanig benoemd wordt kunnen we in de IPSIG-module spreken over co-assessment. We spreken immers over co-assessment wanneer studenten en leerkrachten samen deelnemen aan het beoordelingsproces. Dat is hier het geval. Co-assessment biedt de gelegenheid aan studenten om zichzelf te laten beoordelen, terwijl de leerkracht de noodzakelijke controle behoudt. De aanwezigheid van het co-assessment maakt het mogelijk om het assessment ook summatief uit te voeren (Dochy, Segers, & Sluijsmans, 1999). In het beoordelen van de samenwerkingsvaardigheden behoudt de leerkracht of tutor de noodzakelijke controle door twee elementen. Als eerste controleert de tutor de score van de groep. Deze toegekende scores mogen gemiddeld niet hoger of lager dan het theoretische gemiddelde zijn. Daarnaast beoordeelt de tutor ook het functioneren van de groep. Deze beoordeling gebeurt aan de hand van assessment van de groep door de tutor én een vergelijking van verschillende groepen onderling door de betrokken tutors. Voor meer details over deze procedure verwijzen we naar het handboek van Tsakitzidis and Van Royen (2012). Kortom, men hanteert in de IPSIG-module een self- peer- en coassessment van de samenwerkingsvaardigheden. In deze tekst focussen we echter op het self- en peer-gedeelte. Het assessment dat de IPSIG-module hanteert is opgebouwd volgens de methode die beschreven wordt in Anders Evalueren (Dochy, Schelfhout, & Janssens, 2005). Samengevat komt het hierop neer: iedere deelnemer van de (studie)groep beoordeelt alle deelnemers (en daarmee ook zichzelf). In de beoordeling staan de rollen van het IPSIG-model centraal en hanteert men een scoresysteem. Het scoresysteem is gebaseerd op een vergelijking van de prestatie van ieder lid met het groepsgemiddelde. Het komt erop neer dat de beoordelaars zich voor iedere rol een groepsgemiddeld functioneren voorstellen. Vervolgens geven de beoordelaars een cijfer aan ieder lid per rol. De gehanteerde cijfers gaan van -1 tot 3 en vormen een schaal met 2 als gemiddeld waarde (Tabel 5) (Dochy et al., 2005). Cijfer Betekenis 3 Beter dan de rest van de groep 2 Gemiddeld van de groep 13

21 1 Niet zo goed als de rest van de groep 0 Geen hulp voor de groep -1 Hinder voor de groep Tabel 5 Self- en peerassessement, cijfer en betekenis De scores worden per deelnemer genoteerd in een tabel. Tabel 6 is een voorbeeld. In de tabel staat bovenaan de student die de beoordeling maakt. In dit geval An. In de linker kolom worden alle studenten opgesomd. In dit voorbeeld gaat de opsomming van An tot Sanne. De scores voor de verschillende rollen staan in de kolommen. De rij waarin de beoordelaar gelijk is aan de beoordeelde is de rij van het selfassessment. In dit geval is het de rij waar An staat (cursief). De andere rijen zijn peer-assessments. Deze tabellen zijn de basis van de beoordeling van de competentie samenwerker in de gezondheidszorg. An totaal Exp Com Tea Man Bel Lev Prof An Anna Bo Elie Iwe Patty Sanne Tabel 6 Detail self- en peerassessment IPSIG Probleemstelling Zoals eerder gesteld neemt interprofessionele samenwerking binnen de gezondheidszorg een voorname plaats in. Bovendien zal de nood aan samenwerking in de toekomst hoogstwaarschijnlijk groter worden. Eigenaardig genoeg, zo bleek, is er relatief weinig evidentie beschikbaar die het belang van interprofessionele samenwerking duidelijk maakt. Het werk van Lyubovnikova et al. (2014) hebben we aangehaald als recente uitzondering. Medisch onderwijs in interprofessionele samenwerking kent ondertussen al een zekere geschiedenis. Maar ook hier is er weinig evidentie beschikbaar die aantoont hoe effectief deze vorm van onderwijs is, wat een geschikte vorm van onderwijs is en wat is een 14

22 geschikte vorm van evaluatie? Uit de aanbevelingen van Freeth (2002) onthouden we vooral dat er nood is aan Evaluation of innovation, in the pedagogy and evaluation. In de IPSIG-module staat gezondheidszorg, onderwijs en samenwerking centraal. Laatstejaars studenten uit verschillende beroepen in de gezondheidszorg komen gedurende een week samen om teams te vormen en zorg te organiseren. In deze module hanteert men een afgeleide vorm van het CanMEDS-model om samenwerkingsgedrag via een self-, peer- en co-assessment in kaart te brengen. Self-, peer- en co-assessment van de samenwerkingsvaardigheden is volgens Dochy (1999) waarschijnlijk geschikt voor summatief assessment. Het self- en peer assessment van de samenwerkingsvaardigheden is dus het deel van het assessment waar studenten zichzelf en elkaar beoordelen op samenwerkingsvaardigheden. Maar, de gegevens van dit selfen peerassessment zijn tot op heden niet onderzocht. Het feit dat deze gegevens nog niet onderzocht zijn heeft meerdere redenen. Vele onderzoekers Freeth (2002) en Lapkin, Levett-Jones, and Gilligan (2013) stellen bijvoorbeeld dat het te vroeg is om duidelijke conclusies te trekken wat betreft evaluatie van interprofessionele samenwerking omdat de parameters vooralsnog ontoereikend of onvoldoende onderbouwd zijn. Ook Philibert (2012) bespreekt het relatieve gebrek aan vooruitgang in klinisch onderwijs. De grootste barrière om het klinische onderwijs te sturen is volgens deze onderzoeker het gebrek aan betrouwbare en valide assessmentinstrumenten. Overeem et al. (2007) vatten het als volgt samen: despite the rhetoric around this area, few real investments have been made, Dit alles in acht genomen is het duidelijk dat het assessment van de IPSIG-module aandacht verdient. Rest alleen de vraag waar het onderzoek zich naar moet richten? Gelet op het feit dat er tot op heden geen onderzoek gebeurde, dient ons inziens een begin gemaakt te worden met een onderzoek naar de betrouwbaarheid van het instrument. Wanneer de betrouwbaarheid in kaart gebracht is, kan uiteindelijk het instrument verbeterd worden. 15

23 Deze masterproef richt zich naar een gedeelte van de evaluatie van het Samenwerkingsgedrag (zie ook pagina 6). Het gaat enkel om het gedeelte Self en peerassessment. Betrouwbaarheid is in deze context enigszins misleidend. Betrouwbaarheid wordt vaak gehanteerd als kwaliteitscriterium voor een volledig instrument. Wij richten ons naar een onderdeel. Daarom definiëren we betrouwbaarheid verder in de tekst als de mate waarin het instrument het unieke deel van de variantie in de scores van de beoordeelde weergeeft. Deze definitie maakt het eenvoudiger om de onderzoeksvragen te stellen. 1.6 Onderzoeksvragen Hoofdvraag De belangrijkste vraag gaat over de manier waarop variantie in de scores verdeeld is. Het is voornamelijk de verdeling van de variantie van de scores die toe te wijzen is aan de beoordeelde en die aan samenwerkingsvaardigheden toegeschreven wordt die ons interesseert. We zoeken immers een antwoord op de mate waarin in de beoordeling de samenwerkingsvaardigheden gescoord worden. Dit leidt tot volgende hoofdvraag: Hoe groot is het aandeel van de variantie in de scores van het samenwerkingsgedrag dat kan worden toegeschreven aan de ware score van de beoordeelde zelf? Bijvragen Dit onderzoek gaat over self- en peerassessment. Daarmee is interessant om na te gaan of er verschillen aan self en peer toe te schrijven zijn. Kleine of grote verschillen in de beoordeling door self en peer vertellen immers iets over de kwaliteit van self- en peerassessment. Dat leidt tot volgende bijvraag: Zijn er vertekeningen in de score van het samenwerkingsgedrag van de beoordeelde waarneembaar door self- en peer assessment? Naast deze vraag is het relevant om na te gaan in hoeverre de variantie beïnvloedt wordt door studentenkenmerken. Invloeden die met studentenkenmerken te maken hebben maken het mogelijk om een rijkere interpretatie van de gegevens te maken. Dat levert volgende bijvraag op: 16

24 Zijn er verschillen waarneembaar in de score van het samenwerkingsgedrag van de beoordeelde wanneer we rekening houden met studentenkenmerken zoals opleiding/studie/land? Tenslotte, het is interessant om de combinatie van rollen en studentenkenmerken na te gaan. De gegevens die deze combinaties opleveren bevatten aanwijzingen over de inhoudelijke kwaliteit van het assessment. Dat leidt tot de laatste bijvraag: Zijn er verschillen waarneembaar tussen studentenkenmerken en de scores van de beoordeelde wat rolkenmerken betreft? -o- 17

25 2 Methode 2.1 Data-verzameling Als voorbereiding werd een proefset aangemaakt aan de hand van geselecteerde werkbladen van Deze proefset werd besproken met de promotor van deze masterproef op 13 februari. In dit onderzoek staan de data van de IPSIG editie 2015 centraal. Deze module vond plaats van 23 tot 27 februari. Er namen 761 studenten deel en de evaluatie van de samenwerkingsvaardigheden gebeurde op donderdagnamiddag 26 maart. Het self- en peer- assessment werd op die namiddag handmatig ingevuld op een voorgedrukt formulier. Deze formulieren werden door de tutor(s) overgenomen in een werkblad. De eerste controle van de gegevens gebeurde na het invullen van het formulier en doorsturen van het werkblad. Iedere tutor had de opdracht na te gaan of de procedure van het self- en peerassessment correct gevolgd werd. Dat werkblad werd in de weken na de module doorgestuurd naar de werkgroep. Een tweede controle gebeurde door de stuurgroep. Deze controle hield onder meer of er geen fouten waren gebeurd in het knippen en plakken van de gegevens. De controle ging ook verder door na te gaan of het werkelijke gemiddelde van de groep niet afwijkend boven of onder het theoretische gemiddelde kwam. Wanneer correcties nodig waren greep men terug naar de oorspronkelijke formulieren. Indien nodig nam men contact op met de tutor(s). Over de correcties werd door twee leden van de stuurgroep overleg gepleegd. De aangepaste werkbladen werden van een code voorzien. De gegevens van de groepen die zo op 11 april beschikbaar waren zijn gebruikt voor dit onderzoek. Het ging om de gegevens van 690 studenten. Deze gegevens werden handmatig in een excel-werkblad verwerkt. Om fouten te vermijden werd ingevoerde data regelmatig gecontroleerd met de bronbestanden. Het voornaamste werk in deze fase was het aanvullen van de ontbrekende gegevens. Meestal ging dit over opleiding en school van iedere student. Voor het grootste gedeelte volstonden de administratieve gegevens om aan te vullen. In het uiteindelijke resultaat zijn 5191 rijen data beschikbaar. Met het oog op verdere verwerking werden dummy-variabelen aangemaakt voor de voornaamste 18

26 studentenkenmerken. Bij het aanmaken van deze dummy-variabelen werd steeds gecontroleerd of er geen lege cellen waren of ontstonden. Onregelmatigheden hierin werden aan de hand van de oorspronkelijke gegevens nagekeken. Over de gegevens die na deze stappen nog ontbraken werd overleg gepleegd. Doorheen deze stappen werd de codetabel aangemaakt (zie pag. 37). De dataset werd uiteindelijk door de promotor nagekeken. In de data-set voor het onderzoek zijn de namen van tutors en studenten geanonimiseerd. Daarnaast is het werkblad omgezet in een CSV-bestand. In een laatste controle werd nagegaan of er geen gegevens tijdens de conversie verloren gingen. De CSV-dataset is beschikbaar voor verder onderzoek. 2.2 Techniek De analyses worden uitgevoerd met het open source statistisch programma R en het aanvullende programma R-Studio ("The R Project for Statistical Computing,"). We werken enerzijds met de afzonderlijke scores voor: expert, communicator, teamspeler, manager, belangenbehartiger, levenslang lerende, professional. Anderzijds werken we ook met de totaalscore van deze rollen. Om de gegevens eenduidiger te maken werken we met z-scores. We gaan de betrouwbaarheid na met de statistische techniek die multilevel-analyse heet (ML). ML verklaart variantie in de data en houdt in de berekening daarvan rekening met hiërarchie in de data. In de data die hier centraal staat, bestaat de hiërarchie uit volgende niveaus: de studenten en de leergroep waartoe ze behoren. De studenten zijn verder onder te verdelen in de beoordelaars en diegenen die beoordeeld worden. Deze relatief eenvoudige structuur maakt het mogelijk om een aantal kenmerken met statistische technieken in kaart te brengen. Het voornaamste van deze kenmerken is de kwaliteit van de beoordeling. In statistische termen is dit te vertalen als de mate waarin de variantie toe te kennen is aan kenmerken van de beoordeelde. Ook de mate van strengheid van de beoordelaar is in kaart te brengen als het aandeel van de variantie in de scores dat toe te kennen is aan de kenmerken van de beoordelaars. Daarnaast is er ook een aandeel in de variantie dat niet te herleiden valt tot de kenmerken van beoordelaars of beoordeelden. Deze residuele variantie is de ruis of onverklaarbare gedeelte in de beoordeling. 19

27 In een ideale situatie zou in de score van de samenwerkingsvaardigheden de variantie volledig toe te schrijven zijn aan de beoordeelde student. Het betekent ook: hoe meer de variantie in de scores voor de samenwerkingsvaardigheden verklaard wordt door andere elementen hoe verder de beoordeling zich van het ideaal bevindt. In onderzoek zoals dit wordt over betrouwbaarheid gesproken. In deze tekst zullen we dit begrip spaarzaam gebruiken. De reden hiervoor ligt in het feit het gebruik van het begrip betrouwbaarheid (te) vaak tot een waardeoordeel leidt. Dit onderzoek wil vooral begrijpen en niet oordelen. Voor een voorbeeldscript en resultaat, zie pag. 39. In Tabel 7 worden de namen van de voornaamste variabelen met een korte omschrijving opgesomd. Om de leesbaarheid te vergroten gebruiken we in de analyses de korte omschrijvingen. Voor een volledig en gedetailleerd overzicht verwijzen we naar de codetabel (zie pag. 37). De onafhankelijke variabelen die we hanteren vinden we ook terug in Tabel 7. Het gaat meestal om z-scores om de interpretatie te vergemakkelijken (variabelen die naar een z- score verwijzen starten steeds met een grote Z). Variabele Korte omschrijving LGea Beoordelaar Dgea Beoordeelde ZSum Somscore van de rollen ZExp Expert ZCom Communicator ZTea Teamspeler ZMan Manager ZBel Belangenbehartiger ZLev Levenslang lerende ZPro Professional Tabel 7 Gehanteerde onafhankelijke variabelen De afhankelijke variabelen die we hanteren vinden we terug in Tabel 8. Dit zijn de zogenaamde fixed effects die we nagaan. Het gaat hier voornamelijk om kenmerken van de studenten. Deze kenmerken zijn dummy-variabelen om de verwerking makkelijker te maken (dummy-variabelen starten steeds met een kleine d). 20

28 Variabele Korte omschrijving dselfofpeer Selfassessment dbdbene Belgische student dd3 Bachelor dd5 Kinesitherapie dd7 Arts ddergo Ergotherapie ddlogo Logopedie ddorth Orthopedagogie ddpsyc Assistent in de psychologie ddsowe Sociaal werk ddverp Verpleegkunde ddvodi Voeding en dieet ddvroe Vroedkunde Tabel 8 Gehanteerde afhankelijke variabelen In dit deel van de tekst focussen we vooral op een compacte samenvatting van de resultaten. Voor een voorbeeldscript en resultaat, zie pag. 39. Alle scripts zijn beschikbaar op verzoek. -o- 21

29 3 Resultaten 3.1 Hoofdvraag Hoe groot is het aandeel van de variantie in de scores van het samenwerkingsgedrag dat kan worden toegeschreven aan de ware score van de beoordeelde zelf? We starten de analyses met het nagaan van de variantie in de totaalscores waarbij we rekening met beoordelaar en beoordeelde. Op deze manier zoeken we naar de variantie in de totaalbeoordeling. Tabel 9 bevat de bronnen van variantie die nagegaan werd voor de somscore van de rollen. Bron van variantie Parameter schatting Beoordeelde Beoordelaar Residuele variantie Tabel 9 Totaalscore en verklaarde variantie De variantie in de sumscore is voor of 36.5% uniek voor de beoordeelde en voor of 11,2% uniek voor de beoordelaar. De residuele variantie bedraagt of 52,4%. Dit betekent dat de verschillen die we vaststellen in de scores voor 36.5% toe te wijzen zijn aan de kenmerken van de beoordeelde. Dit is immers het unieke percentage dat aan de beoordeelde toe te wijzen valt. 11.2% van de verschillen zijn toe te wijzen aan de kenmerken van de beoordelaar. 52,4% van de verschillen zijn niet aan de beoordelaar noch de beoordeelde toe te wijzen. Dit percentage is toe te wijzen aan de unieke combinatie van beide. Dat we 36.5% van de variantie toe kunnen wijzen aan eigenschappen van de beoordeelde betekent dat het self- en peerassessment eerder beperkt de variantie van het samenwerkingsgedrag in kaart brengt. Het betekent concreet dat 63.5% van de beoordeling onvoorspelbaar gebeurt. Met een percentage van 36.5% ligt de variantie van de ware scores onder de 70% vuistregel die men men vaak bij Cronbach s alpha als ondergrens hanteert. 22