INVLOED VAN LEERKRACHTEVALUATIE OP KWALITEIT VAN EN GELIJKHEID IN ONDERWIJSSYSTEMEN

Transcriptie

1 INVLOED VAN LEERKRACHTEVALUATIE OP KWALITEIT VAN EN GELIJKHEID IN ONDERWIJSSYSTEMEN Analyses op basis van TIMSS door middel van een difference-indifference design Kim Bellens, Jan Van Damme, Wim Van Den Noortgate, Sarah Gielen & Bieke De Fraine

2

3 INVLOED VAN LEERKRACHTEVALUATIE OP KWALITEIT VAN EN GELIJKHEID IN ONDERWIJSSYSTEMEN Analyses op basis van TIMSS door middel van een difference-indifference design Kim Bellens, Jan Van Damme, Wim Van Den Noortgate, Sarah Gielen & Bieke De Fraine Promotoren: Sarah Gielen & Bieke De Fraine Research paper SSL/ /1.1.2 Leuven, 18 juni 2016

4 Het Steunpunt Studie- en Schoolloopbanen is een samenwerkingsverband van KU Leuven, UGent, VUB, Lessius Hogeschool en HUB. Gelieve naar deze publicatie te verwijzen als volgt: Bellens, K., Van Damme, J., Van den Noortgate, W., Gielen, S., & De Fraine, B. (2016). Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen. Analyses op basis van TIMSS door middel van een difference-in-difference design. Leuven: Steunpunt SSL. Voor meer informatie over deze publicatie: Deze publicatie kwam tot stand met de steun van de Vlaamse Gemeenschap, Programma Steunpunten voor Beleidsrelevant Onderzoek. In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens. D/2016/4718/typ het depotnummer ISBN typ het ISBN nummer 2016 STEUNPUNT STUDIE- EN SCHOOLLOOPBANEN p.a. Secretariaat Steunpunt Studie- en Schoolloopbanen HIVA - Onderzoeksinstituut voor Arbeid en Samenleving Parkstraat 47 bus 5300, BE 3000 Leuven Deze publicatie is ook beschikbaar via

5 Inhoud Inhoud Beleidssamenvatting v vii Hoofdstuk 1 Inleiding Leerkrachten maken het verschil Leerkrachten evalueren: hoe en door wie? Leerkrachten evalueren in Vlaanderen Hoe worden Vlaamse leraren geëvalueerd? Door wie worden Vlaamse leraren geëvalueerd? Waarom worden Vlaamse leraren geëvalueerd? Onderzoek naar evaluatie van leraren in Vlaanderen De beste manier om leerkrachten te evalueren? Leerlingresultaten verbeteren dankzij leerkrachtevaluatie? Het effect van leerkrachtevaluatie op leerlingresultaten Differences-in-differences methode 5 Hoofdstuk 2 Onderzoeksvraag en methodologie Onderzoeksvraag Methodologie Data Variabelen Analyses 9 Hoofdstuk 3 Resultaten 13 Hoofdstuk 4 Discussie en conclusie 17 Bijlagen 21 Bijlage 1 Overzicht landen opgenomen in de analyses 23 Bijlage 2 Beschrijvende statistieken van de evaluatiemethoden in graad 4 per land 25 Bijlage 3 Cross-sectionele correlaties 30 Bijlage 4 Beschrijvende statistieken van de verschilscores per graad en periode 33 Bijlage 5 Correlaties verschilscores per graad en periode 35 Bijlage 6 Exemplarische toelichting bij correlaties tussen de verschilscores van wiskundeprestaties en evaluatie d.m.v. observaties intern voor de verschillende periodes, graad 4 38 Bibliografie 41 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen v

6

7 Beleidssamenvatting Deze studie maakt gebruik van een difference-in-difference (DiD) design om het effect te bestuderen van verschillende methoden van leerkrachtevaluatie op de onderwijsuitkomsten kwaliteit en gelijkheid. De vier onderzochte methoden betreffen het evalueren van leerkrachten door middel van (1) lesobservaties door de directie of beleidsondersteuner, (2) observaties door onderwijsinspecteurs, adviseurs, begeleiders of andere personen van buiten de school, (3) leerresultaten van de leerlingen en (4) beoordelingen door collega-leerkrachten. Het effect op onderwijsuitkomsten wordt onderzocht in zowel het basisonderwijs (4 e leerjaar) als het secundair onderwijs (2 e jaar secundair onderwijs). In dit DiD design worden veranderingen doorheen de tijd in de afhankelijke variabele gerelateerd aan veranderingen doorheen de tijd in onafhankelijke variabele in een veelheid van landen, op basis van een aggregatie van de variabelen naar landsniveau. Hiermee wordt zowel de invloed van buiten beschouwing gelaten variabelen ( omitted variables ) beperkt als selectiebias (of omgekeerde causaliteit) uitgesloten. De rationale achter het beperken van buiten beschouwing gelaten variabelen door middel van het bekijken van veranderingen doorheen de tijd is dat de veelheid aan relatief stabiele landskenmerken die samenhangen met zowel beleidskenmerken als onderwijsuitkomsten op deze manier onder controle wordt gehouden. Selectiebias wordt opgevangen door het aggregeren van variabelen van een lager niveau naar landsniveau. De onderzoeksvraag wordt beantwoord op basis van het berekenen van correlaties tussen verschilscores met verschillende datakoppels ( , en ) van de verschillende variabelen, met name de wijziging in evaluatiemethoden van leerkrachtpraktijken, in prestaties en in samenhang met achtergrondskenmerken. Hoewel we zowel de korte als lange termijn resultaten bekijken, zijn de resultaten op lange termijn (periode ) het meest waardevol, gezien in deze langere periode eventueel doorgevoerde veranderingen gemiddeld langere tijd van kracht zijn en het aannemelijker is om een mogelijk effect op onderwijsuitkomsten vast te stellen. Op basis van deze studie kunnen we besluiten dat het antwoord op de vraag naar het effect van leerkrachtevaluatie op onderwijsuitkomsten een gedifferentieerd beeld toont. Allereerst zien we dat leerkrachtevaluatie een verschillend effect heeft naargelang het onderwijsniveau, met name basisversus secundair onderwijs. Ook dient een duidelijk onderscheid gemaakt te worden tussen zowel verschillende methoden van leerkrachtevaluatie alsook verschillende onderwijsuitkomsten. In graad 4 (vierde leerjaar lager onderwijs) maakt leerkrachtevaluatie wel degelijk een verschil (hetzij positief, hetzij negatief). Wiskundeprestaties van leerlingen in graad 4 zijn hoger in landen waar meer leerkrachten worden geëvalueerd aan de hand van interne observaties. Daarnaast is het verschil in prestaties tussen leerlingen met een verschillende thuistaal kleiner in landen waar leerkrachten geëvalueerd worden aan de hand van de leerlingprestaties. Een negatieve invloed van leerkrachtevaluatie zien we bij het effect van leerkrachtevaluatie door externen, zowel op de gelijkheid tussen leerlingen met een verschillend aantal boeken thuis als op de gelijkheid tussen leerlingen met een verschillende thuistaal. Het effect van verschillende vormen van leerkrachtevaluatie op prestaties en gelijkheid in graad 8 (tweede leerjaar secundair onderwijs) is daarentegen nagenoeg onbestaande. Tot slot, gezien de resultaten sterk afhankelijk zijn van de landen die in de analyses worden opgenomen en de resultaten voornamelijk bepaald worden door een (voor elke evaluatiemethode en periode Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen vii

8 wisselend) aantal landen die voor een bepaalde evaluatiemethode en/of afhankelijke variabele een grote(re) wijziging hebben doorgemaakt in de bestudeerde periode, dient voorzichtigheid aan de dag gelegd te worden omtrent de stabiliteit van de gevonden resultaten. Op basis van de resultaten van het onderzoek willen we een aantal adviezen formuleren voor beleidsmakers. Het beleid omtrent leerkrachtevaluatie in Vlaanderen spitst zich voornamelijk toe op interne evaluatie van leerkrachten. De resultaten van dit onderzoek bevestigen de positieve elementen van het huidige onderwijsbeleid met betrekking tot leerkrachtevaluatie. Allereerst heeft leerkrachtevaluatie door middel van interne observaties een positief effect op de wiskundeprestaties van leerlingen in het basisonderwijs. Het evalueren van leerkrachten door middel van het gebruik van leerlingprestaties heeft in het basisonderwijs een positief effect op de gelijkheid in wiskundeprestaties tussen leerlingen met een verschillende thuistaal. Daarnaast toont deze studie aan dat er voorzichtigheid aan de dag dient gelegd te worden met het installeren van eender welke vorm van leerkrachtevaluatie. Zo toont deze studie een negatief effect van leerkrachtevaluatie door middel van externe evaluatie op gelijkheid in wiskundeprestaties aan, zowel voor leerlingen met een verschillende thuistaal als voor leerlingen met een verschillend aantal boeken thuis. Een recent advies van Dirk Van Damme (De Redactie, 2015) stelt dat in het basisonderwijs heel belangrijke bouwstenen gelegd worden voor de onderwijsloopbaan van leerlingen, waarbij wordt gesuggereerd om extra financiering in onderwijs toe te spitsen op het basisonderwijs. De resultaten in dit onderzoek liggen in lijn van dit advies. Waar in het secundair onderwijs (2 e jaar SO) geen effect op lange termijn van leerkrachtevaluatie wordt vastgesteld, is dit wel zo voor een aantal evaluatiemethoden in het basisonderwijs (4 e leerjaar), waaronder evaluatie door middel van interne personen in de school. Als wordt ingezet op leerkrachtevaluatie, is het dan ook aangewezen dat de middelen hiervoor voornamelijk in het basisonderwijs worden ingezet. Te denken valt bijvoorbeeld aan de vorming van interne verantwoordelijken in de school die instaan voor de evaluatie van leerkrachten en zo mede de zorg voor kwaliteitsvol onderwijs door leerkrachten op zich nemen. Dit advies ligt in lijn van het advies geformuleerd door Devos, Van Petegem, Vanhoof, Declercq & Delvaux (2014), die aangeven dat hiermee ook een oplossing kan geboden worden voor de (soms te) zware taakbelasting voor de directie met betrekking tot de leerkrachtevaluatie. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen viii

9 Hoofdstuk 1 Inleiding 1.1 Leerkrachten maken het verschil Leerkrachten maken het verschil. Leerkrachten geven dagdagelijks vorm aan het klasgebeuren en hebben een groot effect op de onderwijsuitkomsten van leerlingen. Leerkrachten hebben meer invloed op leerlinguitkomsten dan de school (Creemers & Kyriakides, 2008; De Fraine, 2004; Muijs et al., 2013). Schoolfactoren hebben voornamelijk een onrechtstreekse invloed op de prestaties van leerlingen, in tegenstelling tot de directe invloed van de leerkracht op leerlinguitkomsten. Het belang van leerkrachten wordt gestaafd in tal van studies waarin de rol van leerkracht als kernfiguur in het vormgeven van onderwijs onderzocht en ondersteund wordt. Zo vinden Mortimore et al. een verklaarde variantie voor leerlinguitkomsten van 15% op klasniveau (in Campbell, Kyriakides, Muijs & Robinson, 2004). Concreet werd berekend dat een leerling met de meest effectieve leerkracht aan het einde van het schooljaar een testscore haalt die 20% hoger ligt dan een zelfde leerling die onderwijs heeft gekregen van de minst effectieve leerkracht. 1.2 Leerkrachten evalueren: hoe en door wie? Omwille van deze belangrijke rol van leerkrachten, bestaat de noodzaak om het handelen van leerkrachten in kaart te brengen en met name leerkrachten te evalueren. Het doel van leerkrachtevaluatie is tweeërlei (Kyriakides, Demetriou & Charalambous, 2006). Enerzijds zorgt evaluatie ervoor dat zowel sterke als minder sterke punten in kaart gebracht worden, wat op zijn beurt ervoor zorgt dat het handelen van leerkrachten verbeterd kan worden ( improvement of professional development ). Anderzijds kan evaluatie van leerkrachten gebruikt worden om leerkrachten verantwoording te laten afleggen voor hun handelen ( accountability ). Beide doelen hebben als uiteindelijk, overkoepelend doel het optimaliseren van leerlinguitkomsten (Beerens, 2000). Of zoals onderstaand citaat samenvattend weergeeft: teacher appraisal can be a key lever for increasing the focus on teaching quality and continuous professional development for teachers, in keeping with the growing recognition that the quality of teaching affects student learning outcomes (OECD, 2013, p. 9). Hoewel overeenstemming bestaat over het nut van leerkrachtevaluatie (het waarom ), rijzen er tal van vragen over het hoe, het door wie en het waartoe. Allereerst bestaan er diverse methoden om leerkrachten te evalueren: klasobservaties, peer reviews, zelfevaluatie, portfolio, leerkrachttoetsen, leerlingresultaten, vragenlijsten aan leerlingen en ouders, etc. (OECD, 2013). Daarnaast kunnen verschillende actoren verantwoordelijk zijn voor de evaluatie, waarbij een tweedeling kan gemaakt worden tussen interne en externe evaluatoren: centrale autoriteiten, externe onderwijsinspecteurs, directies, collega-leerkrachten, etc. (OECD, 2013). Tot slot kunnen er diverse effecten / gevolgen zijn bij een (negatieve of positieve) evaluatie. In sommige landen worden financiële bonussen toegekend aan goed presterende leerkrachten. Maar het is ook mogelijk dat ontslag dreigt bij een negatieve evaluatie. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 1

10 1.3 Leerkrachten evalueren in Vlaanderen In Vlaanderen is de evaluatie van leraren geregeld volgens de Omzendbrief functiebeschrijving en evaluatie (PERS/2007/09). Deze omzendbrief is onder meer gebaseerd op het Decreet rechtspositie personeelsleden gemeenschapsonderwijs (27 maart 1991) en het Decreet rechtspositie personeelsleden gesubsidieerd onderwijs (27 maart 1991). De omzendbrief schetst de krijtlijnen van het het hoe, het door wie en het waartoe van leerkrachtevaluatie in het basisonderwijs en secundair onderwijs Hoe worden Vlaamse leraren geëvalueerd? Wat betreft het hoe, stelt de omzendbrief duidelijk dat de evaluatie van leraren geen momentopname mag zijn, maar dat het een proces is. Het evaluatieproces start met een functiebeschrijving. In scholen voor secundair onderwijs wordt sinds 1 september 2004 gewerkt met functiebeschrijvingen. In basisscholen wordt sinds 1 september 2007 gewerkt met functiebeschrijvingen. Die geïndividualiseerde functiebeschrijvingen vormen de toetssteen voor het personeelslid, zodat hij/zij weet wat er van hem/haar wordt verwacht en waarop hij/zij zal worden geëvalueerd. De precieze criteria waarop leraren geëvalueerd worden, behoren tot de autonomie van de onderwijsinstellingen. In het secundair onderwijs zijn de meest gangbare evaluatiecriteria het uitvoeren van kernactiviteiten, de samenwerking met collega s en inzet en engagement voor de school (Devos et al., 2013). De evaluaties zijn gestart vanaf 1 september 2007 in het secundair onderwijs en vanaf 1 september 2009 in het basisonderwijs. In de meeste scholen was er ook voor die datum al sprake van een (informeel) evaluatiesysteem (Devos et al., 2014). Wat betreft de frequentie van evaluatie : Het evaluatieproces kan maximum vier schooljaren omvatten, m.a.w. het schooljaar van de evaluatie en de drie daaraan voorafgaande schooljaren. Eens in de vier schooljaren moet er dus een evaluatie plaatsvinden Door wie worden Vlaamse leraren geëvalueerd? Wat betreft het door wie, staat er te lezen dat er steeds een hiërarchische rangorde' moet zijn tussen de evaluator / evaluatoren en het betrokken personeelslid. Dit betekent dat peer review waarbij leerkrachten mekaar evalueren in Vlaanderen uitgesloten is Waarom worden Vlaamse leraren geëvalueerd? Wat betreft het waartoe stelt de omzendbrief Het evaluatieproces is bedoeld als en moet gezien worden als een constructief en positief personeelsbeleidsinstrument, dat het mee mogelijk moet maken een autonoom personeelsbeleid te voeren gericht op het verstrekken van kwaliteitsvol onderwijs. Evaluatie is belangrijk binnen het personeelsbeleid in scholen. De omzendbrief stelt ook: Dit instrument zorgt voor een billijke beoordeling en betere waardering van de prestaties van het personeel. Op grond van een nauwkeurige en objectieve inschatting van de geschiktheid, de inzet, de Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 2

11 prestaties en de verdiensten moet de evaluator een oordeel vellen over de wijze waarop een personeelslid in de uitgeoefende functie presteert. en Evaluatie mag in geen geval repressief zijn. Het positief in toepassing brengen van de personeelsevaluatie betekent dat het personeelslid erkenning krijgt voor zijn inzet en voldoening vindt in het werk. Dit weerspiegelt zich in de kwaliteit en de resultaten van de school. De evaluatie mondt uit in een evaluatieverslag voor een individuele leraar. Dit verslag bevat een eindconclusie. Bij een evaluatie met eindconclusie onvoldoende, zijn er een aantal mogelijkheden en gevolgen die omschreven worden in de omzendbrief (zie Onderzoek naar evaluatie van leraren in Vlaanderen In Vlaanderen brachten twee OBPWO-studies in kaart op welke wijze leraren geëvalueerd worden: - De evaluatie van het evaluatiesysteem voor leerkrachten in het basisonderwijs en deeltijds kunstonderwijs (OBPWO ) - Uitdagingen voor personeelsbeleid: Selectie en opdrachttoewijzing in Vlaamse basis- en secundaire scholen (OBPWO ) Uit deze studies weten we dat leraren in Vlaamse basisscholen voornamelijk geëvalueerd worden door personen intern aan de school (vooral directie). Daarbij zijn enerzijds eigen reflecties en zelfevaluaties en anderzijds feedback van de schooldirectie/leidinggevende de belangrijkste bronnen of methoden van evaluatie. De focus van de evaluatie ligt op het verbeteren van de leerkrachtpraktijken en niet zozeer op het afleggen van verantwoording. Gevolgen van leerkrachtevaluatie blijven beperkt tot gevolgen bij negatieve evaluaties, met name mogelijks ontslag, geen uitbreiding van tijdelijke aanstelling van doorlopende duur (TADD), (Devos, Van Petegem, Vanhoof, Declercq & Delvaux, 2014). 1.4 De beste manier om leerkrachten te evalueren? Studies waarbij verschillende evaluatiemethoden en actoren met elkaar vergeleken worden, komen tot gemengde resultaten over het effect van de wijze waarop en door wie evaluatie plaatsvindt. Waar sommigen een negatief effect rapporteren van onderwijsinspectie op leerlinguitkomsten (Rosenthal, 2004), rapporteren anderen geen effect (Kithuka, 2015). Ook onderzoek waarbij interne evaluatiemethoden (bv. zelf-evaluatie) vergeleken worden met evaluatie door middel van externe personen (bv. onderwijsinspectie) komt niet tot eenduidige resultaten (Webb, Vulliamy, Häkkinen & Hämäläinen, 1998). Verder wijzen verschillende studies op de discrepantie tussen de uitkomsten van meer objectieve evaluatiemethoden (bv. leerlingresultaten) en meer subjectieve evaluatiemethoden (bv. peer reviews) (Bommer, Johnson, Rich, Podsakoff, & MacKenzie, 1995), in tegenstelling tot Jacob en Lefgren (2008) die aangeven dat er een sterke link bestaat tussen het oordeel van de directie over het functioneren van de leerkracht (een meer subjectieve evaluatiemethode) en de toetsprestaties van leerlingen. Daarnaast wordt bij de meer objectieve evaluatiemethoden, zoals bijvoorbeeld het gebruik van leerlingprestaties om leerkrachten te evalueren, aangehaald dat hierbij rekening moet gehouden worden met de beginkenmerken van de leerlingen, of dat met name gebruik moet gemaakt worden van modellen met toegevoegde waarde of zelfs leerwinst (OECD, 2013; Kyriakides, Demetriou & Charalambous, 2006). Onderzoek omtrent leerkrachtevaluatie maakt voornamelijk gebruik van een Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 3

12 cross-sectioneel design, waardoor vraagtekens kunnen geplaatst worden bij de richting van de samenhang tussen variabelen, alsook de mate waarin de (aan- of afwezigheid van) samenhang afhankelijk is van niet-onderzochte variabelen (cf. omitted variables). Bijkomend kan verondersteld worden dat evaluatie van leerkrachten voornamelijk een effect zal hebben op leerlinguitkomsten op langere termijn. Ook dit wordt vaak niet in rekening gebracht. Mogelijks kunnen hierdoor de gevonden tegenstrijdige of althans niet-eenduidige resultaten (deels) verklaard worden. Sommigen beargumenteren dat de discussie over de wijze waarop en door wie leerkrachtevaluatie dient plaats te vinden voornamelijk teruggevoerd kan worden naar het gegeven dat de keuze voor methoden en evaluatoren nauw samenhangt met het doel van de leerkrachtevaluatie, met name verbetering of verantwoording. Wanneer bijvoorbeeld het doel van leerkrachtevaluatie is om het handelen van leerkrachten te verbeteren, wordt geargumenteerd dat kan geopteerd worden voor zelfevaluatie, desgewenst aangevuld met een portfolio en/of een gesprek met een leerkracht-mentor, gezien deze methode de leerkracht aanmoedigt om kritisch na te denken over zijn/haar handelen en hoe dit een impact heeft op zijn/haar klaspraktijken (OECD, 2013). Is het daarentegen de bedoeling om na te gaan in welke mate leerkrachten de onderwijsdoelstellingen bereiken bij hun leerlingen, dan is observatie door externen op basis van objectieve doelstellingen en criteria meer voor de hand liggend. Om de effecten van leerkrachtevaluatie te onderzoeken, is het om die reden belangrijk dat het doel van de evaluatie vooraf gespecifieerd wordt (Isoré, 2009). Dit wordt duidelijk verwoord door Kyriakides, Demetriou en Charalambous (2006, p. 5): The appropriateness of the teacher evaluation criteria cannot be judged without the purpose for which evaluation is conducted being made explicit. Maar vaak wordt leerkrachtevaluatie gebruikt om tegelijkertijd aan beide doelstellingen tegemoet te komen. Met name zowel om het handelen van de leerkracht te verbeteren alsook om verantwoording af te leggen. Denk bv. aan het Vlaamse onderwijssysteem waarbij zelfevaluatie van scholen en leerkrachten gestimuleerd wordt en kan gebruikt worden in een doorlichting van de onderwijsinspectie om het functioneren (en de continue optimalisatie van het functioneren) van de school te verantwoorden. De spanning en/of impliciete verwevenheid tussen zelf-evaluatie en inspectie wordt ook duidelijk aangehaald door MacBeath (2006). Santiago en Benavides (2009) waarschuwen zelfs voor het gevaar van de verstrengeling van beide doelen. Wanneer leerkrachten geëvalueerd worden met als doel om hun handelen te verbeteren, zullen zij meer geneigd zijn om hun sterke en zwakke kanten op een eerlijke wijze in kaart te brengen met het oog op optimaliseren. Wanneer echter de focus op verantwoording ligt, is het aannemelijk dat leerkrachten proberen om hun sterke punten in de verf te zetten en de zwakkere punten te verdoezelen (Santiago & Benavides, 2009), wat het verbeteren van het leerkrachthandelen in het gedrang brengt. 1.5 Leerlingresultaten verbeteren dankzij leerkrachtevaluatie? Het effect van leerkrachtevaluatie op leerlingresultaten In bovenstaande discussie en in onderzoek omtrent leerkrachtevaluatie lijkt men het uiteindelijke, hoger liggende doel soms uit het oog te verliezen, met name het verbeteren van leerlinguitkomsten. Onderzoeken hoe leerkrachtevaluatie tegemoet komt aan dit overkoepelende doel kan er voor zorgen dat de vragen hoe en door wie leerkrachtevaluatie uitgevoerd moet worden, eenduidiger beantwoord kunnen worden. Onderzoek naar de impact van leerkrachtevaluatie op leerlinguitkomsten is schaars. Er wordt ook beargumenteerd dat de relatie tussen leerkrachtevaluatie en Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 4

13 leerlinguitkomsten via tussenliggende processen verloopt. Anders gezegd: er wordt een indirecte invloed verondersteld van leerkrachtevaluatie op leerlingresultaten. Zo is er tal van onderzoek dat de indirecte impact op leerlingprestaties bestudeert, door de effecten van leerkrachtevaluatie na te gaan op andere leerkracht- en schooluitkomsten zoals het handelen van de leerkracht in de klas, de motivatie van leerkrachten, het opnemen van diverse schooltaken waaronder mentorschap, e.d. (Beerens, 2000; Webb, Vulliamy, Häkkinen & Hämäläinen, 1998; Isoré, 2009). Vaak wordt bestudeerd hoe leerkrachtevaluatie samenhangt met allerlei leerkracht- en schoolprocessen, maar wordt vervolgens binnen datzelfde onderzoek de verdere link tussen deze leerkracht- en schoolprocessen en leerlinguitkomsten niet gemaakt. In dit type onderzoek wordt de indirecte impact van leerkrachtevaluatie op leerlingen eerder verondersteld dan wel aangetoond. Anderzijds wordt de directe impact van leerkrachtevaluatie op leerlinguitkomsten (vaak) niet bestudeerd vanuit de argumentatie dat er vele factoren een invloed hebben op leerlinguitkomsten en dat totnogtoe een gepast design waarbij voor deze factoren voldoende gecontroleerd werd, niet mogelijk was (OECD, 2013). Beide elementen maken dat studies over de impact van leerkrachtevaluatie op onderwijsuitkomsten van leerlingen nagenoeg onbestaande zijn Differences-in-differences methode Gustafsson (2007) reikt een waardevol onderzoeksdesign aan voor bovenvermelde moeilijkheden, met name een design dat steunt op een difference-in-difference (DiD) benadering. Door het relateren van veranderingen doorheen de tijd in een onafhankelijke variabele aan veranderingen doorheen de tijd in een afhankelijke variabele in een veelheid van landen kan het effect van de onafhankelijke op de afhankelijke variabele bestudeerd worden. De aannames van dit design zijn dat enerzijds de invloed van buiten beschouwing gelaten variabelen ( omitted variables ) beperkt wordt en anderzijds selectiebias (of omgekeerde causaliteit) uitgesloten wordt. Door de evolutie doorheen de tijd in de afhankelijke variabele te relateren aan de evolutie in de afhankelijke variabele wordt de invloed van buiten beschouwing gelaten variabelen beperkt. Dit design controleert namelijk voor de invloed van variabelen die stabiel zijn doorheen de tijd. Daarnaast voeren landen doorheen de tijd allerlei, al dan niet kleine, wijzigingen in hun onderwijsbeleid door (bv. leeftijd bij start onderwijs, klasgrootte, enz.) welke allen een (ongekende) invloed hebben op onderwijsuitkomsten. Bij het in beschouwing nemen van een veelheid van landen kunnen deze vele wijzigingen als random beschouwd worden. Selectiebias (of omgekeerde causaliteit) wordt uitgesloten door variabelen naar een hoger niveau te aggregeren (Gustafsson, 2007). Dit is een toevoeging aan een DiD design die de aanname van causaliteit nog meer kracht bijzet. Er kan bv. van uitgegaan worden dat binnen een school de keuze voor een bepaalde klasgrootte plaatsvindt op basis van vroegere leerlingprestaties. Zo kan getracht worden om zwakkere leerlingen les te geven in kleinere klassen, zodat meer individuele begeleiding voorzien kan worden. Uit het onderzoek kan dan verkeerdelijk de conclusie getrokken worden dat kleinere klassen leiden tot lagere prestaties, waar in werkelijkheid de omgekeerde causale richting geldt ( reversed causality ). Op landsniveau, zo wordt geargumenteerd, is deze redenering niet meer van kracht, omdat kan aangenomen worden dat de gemiddelde klasgrootte in een land niet (hoofdzakelijk) afhankelijk is van de leerlingprestaties in dat land. Op deze manier zorgt het aggregeren van variabelen naar landsniveau ervoor dat selectiebias wordt uitgesloten. Gustafsson (2007) toont de mogelijkheden van dit design aan door het onderzoeken van enerzijds het effect van de leeftijd van leerlingen op wiskundeprestaties en anderzijds het effect van de klasgrootte op wiskundeprestaties aan de hand van TIMSS 1995 en 2003, zowel voor het vierde leerjaar (Grade 4) als voor het tweede jaar secundair onderwijs (Grade 8). Waar op basis van cross-sectionele data geen samenhang gevonden wordt tussen leeftijd en Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 5

14 prestaties, toont dit longitudinale DiD onderzoeksdesign het positieve effect van leeftijd op prestaties aan. Met betrekking tot klasgrootte wordt een positief effect van klasgrootte op wiskundeprestaties gevonden in het vierde leerjaar van het basisonderwijs (in de zin dat kleinere klassen leiden tot betere prestaties), en geen effect van klasgrootte in het tweede leerjaar van het secundair onderwijs. Die resultaten liggen in de lijn van het beschikbare experimentele onderzoek. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 6

15 Hoofdstuk 2 Onderzoeksvraag en methodologie 2.1 Onderzoeksvraag In deze studie onderzoeken we de invloed van verschillende methoden om leerkrachtpraktijken te evalueren op de onderwijsuitkomsten kwaliteit en gelijkheid. Dit wordt onderzocht in zowel het basisonderwijs als het secundair onderwijs. De volgende onderzoeksvraag staat centraal: Hebben evaluatiemethoden van leerkrachtpraktijken een invloed op onderwijskwaliteit en - gelijkheid, zowel in basis- als secundair onderwijs? Zo ja, welk soort invloed en hoe groot is deze invloed? Meer bepaald wordt getracht een antwoord te bieden op volgende vragen: - Heeft het evalueren van leerkrachten aan de hand van klasobservaties door interne verantwoordelijken in de school een invloed op onderwijsprestaties en gelijkheid? - Heeft het evalueren van leerkrachten aan de hand van klasobservaties door externen een invloed op onderwijsprestaties en -gelijkheid? - Heeft het evalueren van leerkrachten aan de hand van leerlingprestaties een invloed op onderwijsprestaties en -gelijkheid? - Heeft het evalueren van leerkrachten aan de hand van peer review door leerkrachten een invloed op onderwijsprestaties en -gelijkheid? 2.2 Methodologie Data Data van TIMSS (Trends in International Mathematics and Science Study) worden gebruikt om de onderzoeksvragen te beantwoorden. Analyses worden uitgevoerd met betrekking tot volgende datakoppels (periodes): TIMSS, graad 4 leerlingen die 4 jaar formele opleiding genoten hebben (in Vlaanderen het vierde leerjaar basisonderwijs): (19 landen) (26 landen) (17 landen) TIMSS, graad 8 leerlingen die 8 jaar formele opleiding genoten hebben (in Vlaanderen het tweede leerjaar secundair onderwijs): (36 landen) (37 landen) (34 landen) Effect van leerkrachtevaluatie op kwaliteit en gelijkheid in onderwijssystemen 7

16 Voor een overzicht van de betrokken landen in elk van de analyses verwijzen we de lezer naar Bijlage 1. Vlaanderen nam deel aan de volgende TIMSS-studies: : enkel 2 e jaar secundair onderwijs (Grade 8) : enkel 2 e jaar secundair onderwijs (Grade 8) : zowel vierde leerjaar (Grade 4) als 2 e jaar secundair onderwijs (Grade 8) : / : enkel vierde leerjaar (Grade 4) : enkel vierde leerjaar (Grade 4) Omdat in dit onderzoeksrapport enkel de gegevens van de waves 2003, 2007 en 2011 worden meegenomen, zijn er enkel trendgegevens voor Vlaanderen beschikbaar voor de vergelijking tussen 2003 en 2011 voor het vierde leerjaar basisonderwijs Variabelen Afhankelijke variabelen: kwaliteit en gelijkheid De keuze van de afhankelijke variabelen is gebaseerd op een vroegere studie in het kader van het Steunpunt studie- en schoolloopbanen, met name Bellens, Van Damme, Van den Noortgate en Gielen (2014). De twee afhankelijke variabelen in deze studie zijn kwaliteit en gelijkheid. Als indicator van kwaliteit wordt gekeken naar leerlingprestaties in wiskunde en wetenschappen aan de hand van 5 plausibele waarden die beschikbaar gesteld worden door de IEA in TIMSS. 1 Om gelijkheid te operationaliseren wordt gekeken naar de samenhang tussen (1) leerlingprestaties en aantal boeken thuis 2 en (2) leerlingprestaties en thuistaal 3. Hoe kleiner de samenhang tussen beide, hoe groter de gelijkheid tussen leerlingen met een verschillend aantal boeken thuis respectievelijk een verschillende thuistaal Onafhankelijke variabelen: Evaluatiemethoden voor leerkrachtpraktijken De indicatoren voor leerkrachtevaluatie omvatten vier evaluatiepraktijken, die op schoolniveau (aan directies) door middel van een ja-nee antwoordschaal (ja=1, neen=0) op volgende wijze bevraagd werden in graad 4 en analoog in graad 8: In your school, are any of the following used to evaluate the practice of fourth-grade teachers? a) Observations by the principal or senior staff b) Observations by inspectors or other persons external to the school c) Student achievement d) Teacher peer review In Vlaanderen werd dit bevraagd door middel van volgende ja-nee vraagstelling: 1 Aangezien de resultaten voor wetenschapsprestaties sterk gelijklopen met deze voor wiskundeprestaties, beperken we ons in dit rapport tot de rapportage van de resultaten met betrekking tot wiskundeprestaties, zowel voor graad 4 als graad 8. De resultaten met betrekking tot wetenschapsprestaties kunnen opgevraagd worden bij de auteurs. 2 0 = 0-10 boeken; 1 = boeken; 2 = boeken; 3 = boeken; 4 = meer dan 200 boeken. 3 1 = thuis nooit taal van de toets spreken; 2 = thuis soms taal van de toets spreken; 3 = thuis altijd (of bijna altijd) taal van de toets spreken. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 8

17 Wordt op uw school het volgende gebruikt om de praktijk van de leerkrachten in het vierde leerjaar te evalueren? a) Lesobservaties door de directie of beleidsondersteuner b) Observaties door onderwijsinspecteurs, adviseurs, begeleiders of andere personen van buiten de school c) Leerresultaten van de leerlingen d) Beoordelingen door collega-leerkrachten Exemplarisch geven we in Bijlage 2 een overzicht van de gegevens van graad 4 voor elk land voor de verschillende evaluatiemethoden in elk afnamejaar. Voor Vlaanderen is de proportie ja-antwoorden voor deze vier vragen in de twee jaren van deelname de volgende: Tabel 1 Evaluatiepraktijken in het vierde leerjaar volgens schooldirecties in TIMSS 2003 en TIMSS 2011 in Vlaanderen Lesobservaties door de directie of beleidsondersteuner Observaties door personen van buiten de school (inspecteurs, adviseurs, ) Leerresultaten van de leerlingen Beoordelingen door collega-leerkrachten In tabel 1 valt vooral op dat er weinig evolutie is in de evaluatiepraktijken tussen 2003 en 2011, met uitzondering van de beoordeling door collega-leerkrachten. In 2003 geeft 32% van de bevraagde directies aan dat de praktijk van leraren geëvalueerd wordt aan de hand van beoordelingen door collega-leerkrachten. In 2011 geeft slechts 7% van de directies aan dat leraren beoordeeld worden door hun collega s. We vermoeden dat deze sterke daling te maken heeft met de regelgeving voor evaluaties in het basisonderwijs die in voege trad op 1 september In de regelgeving wordt expliciet gesteld dat de evaluator een persoon moet zijn die in een hiërarchische positie staat tegenover het betrokken personeelslid Analyses Zoals aangegeven in de inleiding, reikt Gustafsson (2007) een waardevol onderzoeksdesign aan om causale uitspraken te kunnen doen over de invloed van onderwijskenmerken op -uitkomsten. In het design worden veranderingen doorheen de tijd in de afhankelijke variabele gerelateerd aan veranderingen doorheen de tijd in onafhankelijke variabele in een veelheid van landen, op basis van een aggregatie van de variabelen naar landsniveau. Hiermee wordt zowel de invloed van buiten beschouwing gelaten variabelen ( omitted variables ) beperkt als selectiebias (of omgekeerde causaliteit) uitgesloten. De rationale achter het beperken van buiten beschouwing gelaten variabelen Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 9

18 door middel van het bekijken van veranderingen doorheen de tijd is dat de veelheid aan relatief stabiele landskenmerken die samenhangen met zowel beleidskenmerken als onderwijsuitkomsten op deze manier onder controle wordt gehouden. Gustafsson stelde bijvoorbeeld vast dat er in een groep van 15 landen een negatieve samenhang was tussen (1) de wijziging van de klasgrootte tussen 1995 en 2003 en (2) de wijziging in prestaties tussen 1995 en Anders gezegd: landen waar de gemiddelde klasgrootte in het vierde leerjaar was gedaald over een periode van 8 jaren, waren doorgaans landen waar de prestaties gestegen waren. De enorme verschillen in klasgrootte tussen Westerse landen en bijvoorbeeld Aziatische landen zijn geen storende factor in dit design omdat er gekeken wordt naar de trend doorheen de tijd. Daarnaast voeren landen doorheen de tijd allerlei, al dan niet kleine, wijzigingen in hun onderwijsbeleid door (bv. leeftijd bij start onderwijs, klasgrootte, enz.) welke allen een (ongekende) invloed hebben op onderwijsuitkomsten. Bij het in beschouwing nemen van een veelheid van landen kunnen deze vele wijzigingen als random beschouwd worden. Wanneer een significant resultaat gevonden wordt, geldt dit als een bewijs voor het effect van de onderzochte onafhankelijke variabele, gezien het gevonden wordt ondanks eventuele andere veranderingen. Selectiebias wordt opgevangen door het aggregeren van variabelen van een lager niveau naar landsniveau. Misschien vindt leerkrachtevaluatie voornamelijk plaats bij leerkrachten van wie leerlingen lagere prestaties hebben, aangezien hierbij verondersteld kan worden dat er zich problemen stellen met betrekking tot het functioneren. Hierdoor zou men bij het bestuderen van de data op schoolniveau verkeerdelijk tot de conclusie kunnen komen dat leerkrachtevaluatie een negatief effect heeft op de prestaties van de leerlingen. Er is in dit voorbeeld sprake van reversed causality. Het is niet de leerkrachtevaluatie die een negatief effect heeft op de leerlingresultaten, maar omgekeerd: de lage leerlingresultaten hebben als gevolg dat de leerkrachten meer geëvalueerd worden. Door deze variabelen echter naar landsniveau te aggregeren en te bestuderen in een veelheid van landen, wordt deze selectie bias uitgesloten als aangenomen mag worden dat bij het bestuderen van het % scholen dat een bepaalde evaluatiemethode voor hun leerkrachten gebruikt in een land, deze selectie bias niet meer aanwezig is. Wij zullen dit onderzoeksdesign gebruiken om het effect van leerkrachtevaluatie op de onderwijsuitkomsten kwaliteit en gelijkheid te onderzoeken. Allereerst worden de onafhankelijke variabelen met betrekking tot evaluatiepraktijken per afnamejaar geaggregeerd van school- naar landsniveau om ze op deze manier als systeemkenmerken te beschouwen en te onderzoeken, alsook om selectie bias uit te sluiten. Op deze manier wordt per land een score verkregen die het percentage scholen aangeeft dat een bepaalde evaluatiemethode gebruikt. Ook de prestatiescores van leerlingen worden op landsniveau opgenomen. Per land wordt het landsgemiddelde berekend van elke plausibele waarde afzonderlijk. Verdere analyses maken gebruik van deze vijf berekende prestatiescores op landsniveau. Tot slot worden de indicatoren van gelijkheid met betrekking tot aantal boeken thuis en thuistaal op landsniveau berekend. Hiervoor wordt per land de samenhang (regressiegewicht) tussen aantal boeken thuis respectievelijk thuistaal en wiskunde- respectievelijk wetenschapsprestaties berekend. De berekende samenhang wordt gebruikt als indicator op landsniveau van respectievelijk gelijkheid met betrekking tot aantal boeken thuis en gelijkheid met betrekking tot thuistaal. Naar analogie met het design van Gustafsson, worden vervolgens verschilscores berekend tussen telkens twee verschillende afnamejaren, met name 2003 en 2007 respectievelijk 2007 en 2011 respectievelijk 2003 en De verschilscore van elke variabele wordt berekend door de score van het meest recente afnamejaar te verminderen met de score van het vroegste afnamejaar. Hierbij wordt gebruik gemaakt van de reeds geaggregeerde variabelen per afnamejaar. Correlaties tussen deze verschilscores, met name de wijziging in evaluatiemethoden van leerkrachtpraktijken, in Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 10

19 prestaties en in samenhang met achtergrondkenmerken worden berekend om de onderzoeksvraag te beantwoorden. Aangenomen kan worden dat er enige tijd nodig is vooraleer veranderingen in evaluatiepraktijken een effect resulteren op onderwijsuitkomsten en vooraleer we deze effecten kunnen vaststellen. Als we een periode van vier jaar bekijken (bv ), betekent dit dat de gemiddelde periode tussen de verandering in evaluatiepraktijken en het onderzoeken van het effect twee jaar betreft; wanneer we een periode van 8 jaar bekijken, is het gemiddeld vier jaar geleden dat een eventuele verandering heeft plaatsgevonden. In sommige landen zal de verandering namelijk in het begin van de onderzochte periode plaatsvinden, in andere landen zal de verandering maar recent zijn doorgevoerd. Om die reden is het belangrijk om een voldoende grote tijdsperiode te bekijken, om zo te verzekeren dat een mogelijk effect op onderwijsuitkomsten wel degelijk kan vastgesteld worden. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 11

20

21 Hoofdstuk 3 Resultaten Om de onderzoeksvragen te kunnen beantwoorden gaat onze interesse voornamelijk uit naar de analyses van verschilscores tussen twee verschillende afnamejaren, gezien op basis hiervan buiten beschouwing gelaten variabelen en omgekeerde causaliteit tot een minimum beperkt worden (cf. Hoofdstuk 1 - Methodologie). Ter informatie zijn de resultaten van de cross-sectionele correlaties per afnamejaar opgenomen in Bijlage 3. De beschrijvende statistieken van de analyses met verschilscores zijn opgenomen in Bijlage 4. Bijlage 5 toont de correlaties tussen de verschilscores voor verschillende variabelen. Onderstaande Tabel 2 toont de resultaten van de analyses van verschilscores voor graad 4. Hoewel we zowel de korte als lange termijn resultaten bekijken, zijn de resultaten op lange termijn (periode ) het meest waardevol, gezien in deze langere periode eventueel doorgevoerde veranderingen gemiddeld langere tijd van kracht zijn en het aannemelijker is om een mogelijk effect op onderwijsuitkomsten vast te stellen. Allereerst bekijken we het effect van leerkrachtevaluatie op wiskundeprestaties en gelijkheid met betrekking tot aantal boeken thuis en thuistaal op korte termijn, dit is over een periode van vier jaar. Hiervoor bekijken we de resultaten van de analyses in de periodes en Met betrekking tot wiskundeprestaties van leerlingen nemen we een trend waar, waarbij leerkrachtevaluatie via observaties door internen en via leerlingprestaties samenhangt met lagere leerlingprestaties. Het gaat slechts om een niet-significante trend. De grootste, maar nog steeds kleine, niet-significante samenhang van beide evaluatiemethoden met leerlingprestaties wordt gevonden in de periode (r = -.25 respectievelijk r = -.15). Evaluatie via observaties door externen en door middel van teacher peer review vertonen een positieve samenhang met wiskundeprestaties van leerlingen. Ook hier bestaat de grootste samenhang in de periode (r =.24 respectievelijk r =.31). De samenhang tussen evaluatie door middel van observaties door externen en wiskundeprestaties is eerder onbestaande in de periode (r =.03). Als we de resultaten bekijken voor het effect van leerkrachtevaluatie op gelijkheid van onderwijsuitkomsten op korte termijn (periodes en ), meer bepaald gelijkheid met betrekking tot aantal boeken thuis en gelijkheid met betrekking tot thuistaal, zien we een nagenoeg tegengestelde trend in vergelijking met het effect dat leerkrachtevaluatie heeft op wiskundeprestaties. Ook nu is er geen enkel significant verband. De samenhang tussen gelijkheid met betrekking tot aantal boeken thuis respectievelijk thuistaal en leerkrachtevaluatie door middel van observaties door internen vertoont een positieve trend, wat betekent dat meer interne observaties om leerkrachten te evalueren leidt tot een grotere gelijkheid van onderwijsuitkomsten voor leerlingen met een verschillend aantal boeken thuis (r =.24 voor de periode en r =.12 voor de periode ) respectievelijk een andere thuistaal (r =.16 voor de periode en r =.38 voor de periode ). Verder zien we voor gelijkheid met betrekking tot aantal boeken thuis een negatieve trend met leerkrachtevaluatie door middel van externe observaties, zowel voor de periode (r = -.16) en de periode (r = -.22). Dit geldt ook voor gelijkheid met betrekking Effect van leerkrachtevaluatie op kwaliteit en gelijkheid in onderwijssystemen 13

22 tot thuistaal, al is de trend hier minder uitgesproken (r = -.14 voor de periode en r = -.07 voor de periode ). Verder is er geen relatie tussen leerkrachtevaluatie door middel van leerlingprestaties en gelijkheid met betrekking tot aantal boeken thuis. Wel zien we een positieve samenhang van eerstgenoemde met gelijkheid met betrekking tot thuistaal (r =.32 voor de periode en r =.21 voor de periode ). Dit is tegengesteld aan de resultaten met betrekking tot wiskundeprestaties. Tot slot is de relatie tussen evaluatie door middel van teacher peer review en gelijkheid met betrekking tot aantal boeken thuis en thuistaal nagenoeg onbestaande. Bovengenoemde resultaten zijn echter zoals gezegd alle niet-significante trends. Vervolgens bekijken we de resultaten op lange termijn (de periode ). Met betrekking tot het effect van verschillende methoden van leerkrachtevaluatie op het niveau van de wiskundeprestaties zien we nagenoeg geen effect voor de evaluatiemethoden observaties door externen, leerlingprestaties en teacher peer review (-.10 < r <.10). Wel wordt een middelgroot, significant effect gevonden van leerkrachtevaluatie door middel van internen op de wiskundeprestaties van leerlingen (r =.35). In landen waar leerkrachten meer geëvalueerd worden door interne personen binnen de school, hebben leerlingen hogere wiskundeprestaties. Ook bij de resultaten met betrekking tot gelijkheid worden een aantal middelgrote, significante relaties gevonden. Allereerst zien we betreffende gelijkheid met betrekking tot aantal boeken thuis een significant negatieve correlatie met leerkrachtevaluatie op basis van observaties door externen (r = -.38). Ook de relaties met de overige leerkrachtevaluatiemethoden zijn negatief, zij het niet significant. Betreffende gelijkheid met betrekking tot thuistaal zien we enerzijds een negatieve samenhang van leerkrachtevaluatie door middel van observaties door externen (r = -.43) en anderzijds een positieve samenhang van leerkrachtevaluatie door middel van leerlingprestaties (r =.40). De overige evaluatiemethoden hebben geen effect. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 14

23 Tabel 2 Overzicht correlaties tussen de verschilscores van afhankelijke en onafhankelijke variabelen voor de verschillende periodes, graad 4 Wiskundeprestaties Gelijkheid m.b.t. aantal boeken thuis Gelijkheid m.b.t. thuistaal observaties intern observaties extern leerlingprestaties teacher peer review observaties intern observaties extern leerlingprestaties teacher peer review observaties intern observaties extern leerlingprestaties teacher peer review * * *.40 * -.13 * p<0.05 Een vergelijking van de resultaten op korte versus lange termijn toont opnieuw het belang aan van het bestuderen van een langere periode. Waar bijvoorbeeld op lange termijn een significant negatieve samenhang wordt gevonden van leerkrachtevaluatie door middel van observaties door externen met gelijkheid met betrekking tot aantal boeken thuis en een significant positieve samenhang van leerkrachtevaluatie door middel van leerlingprestaties met gelijkheid met betrekking tot thuistaal, zijn de resultaten hiervan op korte termijn niet significant. Mogelijks zijn in die kortere periode de veranderingen onvoldoende lang van kracht om een effect vast te stellen op de onderwijsuitkomsten. Of nog, waar er bijvoorbeeld op lange termijn een positief en significant effect gevonden wordt van leerkrachtevaluatie door middel van internen op de wiskundeprestaties van leerlingen, wordt op korte termijn een negatieve, niet-significante trend vastgesteld. Opnieuw kan het niet vaststellen van het positieve effect te wijten zijn aan het feit dat de verandering gemiddeld nog niet zo lang van kracht is. Tabel 3 toont de resultaten van de analyses op basis van de verschilscores voor graad 8. Deze tonen ons een enigszins ander beeld van het effect van leerkrachtevaluatie op de onderzochte onderwijsuitkomsten dan de resultaten voor graad 4. Als we een korte periode beschouwen is de samenhang tussen de verschillende evaluatiemethoden voor leerkrachten en onderwijsuitkomsten eerder klein tot onbestaande. Twee uitzonderingen betreffen de samenhang tussen (1) leerkrachtevaluatie door middel van observaties door internen en gelijkheid met betrekking tot boeken thuis en (2) leerkrachtevaluatie door middel van leerlingprestaties en gelijkheid met betrekking tot thuistaal. Waar voor eerstgenoemde een significante positieve relatie gevonden wordt in de periode (r =.37), wordt voor laatstgenoemde een significante positieve relatie gevonden in de periode (r =.34). Dit resultaat op korte termijn wordt in de andere periode ( respectievelijk 4 Waar voor de periodes en een niet-significant negatieve samenhang wordt gevonden, wordt voor de periode een significant positieve samenhang gevonden. In Bijlage 6 wordt exemplarisch dit opmerkelijke resultaat verder toegelicht. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 15

24 ) echter niet bevestigd (r =.09 voor observaties door internen in ; r = -.17 voor leerlingprestaties in ). Op lange termijn zien we voor graad 8 in de meeste gevallen een erg lage tot geen samenhang tussen leerkrachtevaluatie en onderwijsuitkomsten die in geen enkel geval significant blijkt. Opvallend is dat op lange termijn de meeste evaluatiemethoden een negatieve samenhang blijken te vertonen met de onderwijsuitkomsten. Een uitzondering hierop betreft de samenhang tussen evaluatie van leerkrachten op basis van leerlingprestaties met gelijkheid met betrekking tot thuistaal, die klein maar positief is (r =.16). Dit ligt in lijn met het resultaat dat gevonden wordt in graad 4. De grootste doch nog steeds eerder kleine, niet-significante correlaties worden gevonden tussen teacher peer review en de verschillende onderwijsuitkomsten (r = -.25 voor wiskundeprestaties; r = -.15 voor gelijkheid met betrekking tot aantal boeken thuis; r = -.21 voor gelijkheid met betrekking tot thuistaal). Telkens betreft het negatieve trends, waarbij meer leerkrachtevaluatie aan de hand van teacher peer review samenhangt met lagere wiskundeprestaties respectievelijk minder gelijkheid (zowel wat betreft aantal boeken thuis als thuistaal). Tabel 3 Overzicht correlaties tussen de verschilscores van afhankelijke en onafhankelijke variabelen voor de verschillende periodes, graad 8 Wiskundeprestaties Gelijkheid m.b.t. aantal boeken thuis Gelijkheid m.b.t. thuistaal observaties intern observaties extern leerlingprestaties teacher peer review observaties intern observaties extern leerlingprestaties teacher peer review observaties intern observaties extern leerlingprestaties teacher peer review * * * p<0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 16

25 Hoofdstuk 4 Discussie en conclusie Op basis van deze studie kunnen we besluiten dat het antwoord op de vraag naar het effect van leerkrachtevaluatie op onderwijsuitkomsten een gedifferentieerd beeld toont. Allereerst zien we dat leerkrachtevaluatie een verschillend effect heeft naargelang het onderwijsniveau, met name basisversus secundair onderwijs. Waar in graad 4 leerkrachtevaluatie wel degelijk een verschil maakt (hetzij positief, hetzij negatief), is het effect dat leerkrachtevaluatie heeft op prestaties en gelijkheid in graad 8 nagenoeg onbestaande. Dit ligt in lijn met de bevindingen dat de kiem van onderwijskwaliteit en -gelijkheid in het basisonderwijs wordt gelegd, en dat maatregelen in het secundair onderwijs vaak een kleiner effect hebben. Daarnaast dient een duidelijk onderscheid gemaakt te worden tussen zowel verschillende methoden van leerkrachtevaluatie alsook verschillende onderwijsuitkomsten. Wiskundeprestaties van leerlingen in graad 4 zijn hoger in landen waar meer leerkrachten worden geëvalueerd aan de hand van interne observaties. Daarnaast is het verschil in prestaties tussen leerlingen met een verschillende thuistaal kleiner in landen waar leerkrachten geëvalueerd worden aan de hand van de leerlingprestaties. In lijn met de studie van Li, Fortner en Lei (2015) bestaat er geen samenhang tussen evaluatie van leerkrachten door middel van leerlingprestaties en wiskundeprestaties. Een negatieve invloed van leerkrachtevaluatie zien we bij het effect van leerkrachtevaluatie door externen, zowel op de gelijkheid tussen leerlingen met een verschillend aantal boeken thuis als op de gelijkheid tussen leerlingen met een verschillende thuistaal. Er bestaat dus een groter verschil in leerlingprestaties tussen leerlingen met een verschillend aantal boeken thuis en ook tussen leerlingen met een verschillende thuistaal in landen waar leerkrachten geëvalueerd worden door middel van observaties door personen extern aan de school. Waar deze studie verschillende evaluatiemethoden in verschillende onderwijsniveaus onderzoekt, laat ze tegelijkertijd echter vele nuances buiten beeld. Bijkomend onderzoek is nodig om het effect van leerkrachtevaluatie op onderwijsuitkomsten te verduidelijken. Zo kan in toekomstig onderzoek verder gezocht worden naar mediatoren (bv. tussenliggende doelen zoals verantwoording of verbetering, cf. Inleiding). Daarnaast werd de precieze invulling van de onderzochte evaluatiemethoden buiten beschouwing gelaten. Evaluatie van leerkrachten door externen, bijvoorbeeld, kan op allerlei wijzen gebeuren (verplichte onderwijsinspectie aan de hand van een eenduidig vastgelegd kader, evaluatie op vraag van de school, etc.). Hiervan werd echter abstractie gemaakt in deze studie. Onderzoek naar het hoe en waarom van de gevonden resultaten kan verder inzicht geven in de optimale manier waarop leerkrachtevaluatie plaats kan vinden. Met deze studie wordt nogmaals het belang aangetoond van het onderzoeken van de effectiviteit van een verandering in een bepaald onderwijskenmerk over een langere periode. Zoals aangegeven in Hoofdstuk 1 (Methodologie), kan geargumenteerd worden dat (beleids)veranderingen tijd nodig hebben om een effect op onderwijsuitkomsten te tonen. Cross-sectionele resultaten (zie Bijlage 3) en resultaten op basis van een korte periode ( en ) tonen inderdaad andere resultaten dan de lange termijn resultaten. Waar op korte termijn bijvoorbeeld kan geconcludeerd worden dat in graad 8 evaluatie door leerkrachten door middel van interne observaties resulteert in een grotere gelijkheid met betrekking tot leerlingen met een verschillend aantal boeken thuis, zien we dat deze conclusie niet meer stand houdt als een langere periode wordt beschouwd. Maar om de Effect van leerkrachtevaluatie op kwaliteit en gelijkheid in onderwijssystemen 17

26 voorliggende onderzoeksresultaten verder te valideren, is het noodzakelijk om onderzoek te doen over nog langere periodes (bv. met toevoeging van TIMSS 2015). Het is ook aangewezen om na te gaan in welke mate de opname van bepaalde landen een invloed heeft op de resultaten, gezien de resultaten sterk afhankelijk zijn van de landen die in de analyses worden opgenomen en de resultaten voornamelijk bepaald worden door een (voor elke evaluatiemethode en periode wisselend) aantal landen die voor een bepaalde evaluatiemethode en/of afhankelijke variabele een grote(re) wijziging hebben doorgemaakt in de bestudeerde periode. Onze analyses waren gebaseerd op een selectie van minstens 17 en maximaal 37 landen. De precieze samenstelling van de steekproef van landen kan de resultaten beïnvloeden. Gezien ook alle landspecifieke invullingen van evaluatiemethoden buiten beschouwing werden gelaten (cf. supra), kan de opname van andere landen (met mogelijks een andere invulling van de betreffende evaluatiemethode) tot andere resultaten leiden. Opnieuw: daarom is het ons inziens aangewezen om in verder onderzoek de landspecifieke invulling van de evaluatiemethoden na te gaan en toe te voegen om een meer volledig beeld te krijgen van het effect van leerkrachtevaluatie. Zoals uit Bijlage 4 blijkt, is er doorheen tijd een zekere stabiliteit in de mate van gebruik van de verschillende methoden voor leerkrachtevaluatie in de beschouwde landen. Enerzijds kan dit een mogelijke verklaring zijn voor de vaak niet-significante resultaten. Uitbreiding van de analyses op basis van andere databases (bv. PISA, PIRLS) lijkt ons opportuun om de gevonden resultaten te bevestigen dan wel tegen te spreken. Wij zijn van mening dat de aggregatie van variabelen naar landsniveau om beleidskenmerken te evalueren een veelbelovende methode is, die een bijdrage kan leveren aan het zoeken naar verklaringen van de onderwijsuitkomsten. Bij het verkennen van de data verzameld op landsniveau met betrekking tot bepaalde beleidskenmerken werden een aantal tegenstrijdigheden gevonden tussen verschillende databases. Dit is, ons inziens, voornamelijk toe te schrijven aan het feit dat de werkelijkheid vaak gedifferentieerder is dan een dichotome (of bij uitbreiding categorische) indeling van landen met betrekking tot een bepaald beleidskenmerk. Waar bv. in TIMSS wordt aangegeven dat in Zweden (op alle ISCED-niveaus) geen nationale examens worden afgenomen die gevolgen hebben voor de schoolloopbaan van individuele leerlingen, wordt in Eurydice (2009) aangegeven dat er nationale gestandaardiseerde examens worden afgenomen die gevolgen hebben voor de schoolloopbaan van leerlingen op het ISCED niveau 1 of 2. De reden voor deze verschillende gegevens vinden we in de kwalitatieve curriculum informatie die bijkomend verzameld werd binnen TIMSS. 5 Hierbij wordt voor Zweden aangegeven: "The answer on this question is both Yes and No. At the end of grade 9 all students take part in mandatory national exams in Swedish, English, modern language, math and one of the subjects of physics, chemistry or biology. The purpose of the exams is to support the teacher in grading the students. But the students results on the exams have no direct consequences for entry to higher school systems, entry to university and/or exiting or graduating from secondary school. However, the mandatory national exams do have consequences in the sense that teachers use the results when grading the students, and the grades have consequences for entry to higher school system, and exiting/graduating from secondary school." 5 Te raadplegen via Curriculum Data. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 18

27 Gezien de werkelijkheid complexer is dan een eenvoudige indeling in treatment categorieën, reikt het design van Gustaffson ons een waardevol alternatief aan om onderwijskenmerken te onderzoeken waarbij meer nuances in het betreffende onderwijskenmerk worden meegenomen. Ook in de onderzoeksliteratuur omtrent quasi-experimenteel onderzoek wordt het opnemen van een continue treatment steeds meer bepleit (zie bv. Hirano & Imbens, 2004). Tot slot willen we erop wijzen dat het aggregeren van variabelen van school- naar landsniveau in vergelijking met het gebruiken van data verzameld op landsniveau een lichte wijziging van focus inhoudt. Het berekende percentage kan niet zonder meer beschouwd worden als een representatie van een beleidskenmerk van een bepaald onderwijssysteem. Schoolvariabelen bevragen namelijk de perceptie en/of reële schoolpraktijken in plaats van het beleidskenmerk voor het ganse onderwijssysteem. Dit zien we duidelijk bij het vergelijken van de data uit TIMSS met die uit Eurydice (2008). In Eurydice (2008) wordt bijvoorbeeld aangegeven dat in Slovenië officiële methoden aanwezig zijn voor leerkrachtevaluatie door middel van teacher peer review, hoewel in TIMSS slechts tussen 19% en 49% van de Sloveense scholen (verschillend afhankelijk van afnamejaar en graad) aangeeft dat leerkrachten op deze manier geëvalueerd worden. In Vlaanderen is teacher peer review niet toegelaten als officiële vorm van leerkrachtevaluatie sinds 2009 en toch vermelden 7% van de directeurs in 2011 (Grade 4) dat er beoordeling door collega-leerkrachten wordt toegepast. Het is onduidelijk of die 7% een correcte weerspiegeling is van de realiteit in Vlaamse basisscholen. Een ander voorbeeld betreft evaluatie door de directeur. Sinds 1 september 2009 zijn evaluatiegesprekken in Vlaamse basisscholen verplicht. Maar in de TIMSS-bevraging van 2011 geeft slechts 84% van de directeurs aan dat ze gebruik maken van Lesobservaties door de directie of beleidsondersteuner. Dit resultaat kan op verschillende manieren geïnterpreteerd worden. Ofwel zijn de evaluatiegesprekken correct geïmplementeerd in Vlaamse basisscholen, maar worden lesobservaties niet steeds ingezet als informatiebron. Ofwel sijpelen beleidsinitiatieven niet zonder meer door naar de schoolpraktijk, en heerst er bijgevolg een andere praktijk in de scholen dan wat het beleid vooropstelt. Dit voorbeeld toont de grenzen aan van internationaal vergelijkend onderzoek bij het in kaart brengen van kenmerken van onderwijssystemen. Daarenboven hebben scholen in vele landen ruimte om zelf initiatieven op te zetten, waardoor er grote praktijkverschillen bestaan tussen scholen en bepaalde praktijken wel plaatsvinden zonder dat hier duidelijke beleidsrichtlijnen over bestaan. Toch zien we grote gelijkenissen tussen de perceptie van scholen met betrekking tot het gebruik van een bepaalde evaluatiemethode tussen graad 4 en graad 8, wat impliceert dat de doorstroming van kenmerken naar schoolpraktijken (of het gebrek daaraan) dezelfde is bij beide onderwijsniveaus. Hoewel de perceptie en eigenlijke praktijk met betrekking tot leerkrachtevaluatie in scholen kan afwijken van het vooropgestelde beleid, impliceert deze gelijkenis wel dat deze praktijken als landskenmerken beschouwd kunnen worden. Mede omwille van de soms tegenstrijdige informatie in verschillende databanken omtrent beleidskenmerken (verzameld op landsniveau) en de beperkte variatie doorheen de tijd in het achterhoofd, is aggregatie van variabelen op schoolniveau naar landsniveau een verdedigbaar alternatief als indicatie van een beleids/landskenmerk. Vanuit de gedachtegang perception is reality wordt op deze manier informatie gebruikt die bevraagd werd bij praktijkmensen. Op deze manier kan ook ten dele de meetfout die mogelijks bestaat bij bevraging van deze informatie op landsniveau (wat een eventuele verklaring biedt voor de tegenstrijdige informatie in verschillende databanken) opgevangen worden. Samenvattend kunnen we stellen dat de aggregatie van schoolspecifieke informatie naar landsniveau een lichte wijziging van focus impliceert en dat daarom nagegaan dient te worden in welke mate een bepaalde geaggregeerde variabele als beleidskenmerk kan beschouwd worden. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 19

28 Kort samengevat doen bovenstaande zaken ons besluiten dat, gezien de beschikbare data, het design van Gustafsson (2007) waardevol is om beleidskenmerken in samenhang met onderwijsuitkomsten te bestuderen. Echter, vooraleer definitieve conclusies worden getrokken, is het nodig om enerzijds de resultaten uit te breiden met analyses van een veelheid aan data-koppels (periodes) uit verschillende databronnen over een langere periode, alsook de inhoudelijke invulling van de onderzochte evaluatiemethoden verder te onderzoeken. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 20

29 BIJLAGEN Effect van leerkrachtevaluatie op kwaliteit en gelijkheid in onderwijssystemen 21

30

31 Bijlage 1 Overzicht landen opgenomen in de analyses Tabel 4 Overzicht landen opgenomen in de analyses Land Graad Graad Graad Graad Graad Graad Armenië Australië Bahrein België (Vlaanderen) Botswana Bulgarije Chili Chinees Taipei Cyprus Denemarken Duitsland Egypte Georgië Ghana Hong Kong SAR Hongarije Indonesië Iran Israël Italië Japan Jordanië Kazakhstan Koeweit Korea Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 23

32 Letland Libanon Litouwen Macedonië Maleisië Marokko Nederland Nieuw-Zeeland Noorwegen Oekraïne Oman Oostenrijk Palestina Qatar Roemenië Rusland Saudi-Arabië Schotland Servië Singapore Slovenië Slowakije Syrië Thailand Tsjechië Tunesië Turkije Verenigd Koninkrijk Verenigde Staten Zweden Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 24

33 Bijlage 2 Beschrijvende statistieken van de evaluatiemethoden in graad 4 per land Tabel 5 Proportie ja-antwoorden per land voor de evaluatiemethoden in graad 4 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 25

34 Land Graad observaties intern Armenië Australië België (Vlaanderen) Chinees Taipei Denemarken Duitsland Engeland Georgië Hong Kong SAR Hongarije Iran Italië Japan Kazakhstan Koeweit Letland Litouwen Marokko Nederland Nieuw-Zeeland Noorwegen Oostenrijk Qatar Schotland Singapore Slowakije Tsjechië Tunesië Verenigde Staten Zweden Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 26

35 observaties extern Armenië Australië België (Vlaanderen) Chinees Taipei Denemarken Duitsland Engeland Georgië Hong Kong SAR Hongarije Iran Italië Japan Kazakhstan Koeweit Letland Litouwen Marokko Nederland Nieuw-Zeeland Noorwegen Oostenrijk Qatar Schotland Singapore Slowakije Tsjechië Tunesië Verenigde Staten Zweden Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 27

36 leerlingprestaties Armenië Australië België (Vlaanderen) Chinees Taipei Denemarken Duitsland Engeland Georgië Hong Kong SAR Hongarije Iran Italië Japan Kazakhstan Koeweit Letland Litouwen Marokko Nederland Nieuw-Zeeland Noorwegen Oostenrijk Qatar Schotland Singapore Slowakije Tsjechië Tunesië Verenigde Staten Zweden Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 28

37 teacher peer review Armenië Australië België (Vlaanderen) Chinees Taipei Denemarken Duitsland Engeland Georgië Hong Kong SAR Hongarije Iran Italië Japan Kazakhstan Koeweit Letland Litouwen Marokko Nederland Nieuw-Zeeland Noorwegen Oostenrijk Qatar Schotland Singapore Slowakije Tsjechië Tunesië Verenigde Staten Zweden Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 29

38 Bijlage 3 Cross-sectionele correlaties Tabel 6 Correlaties voor graad 4, 2003 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.424 *.416 * observatie extern * * leerlingprestaties.556 * teacher peer review Wiskundeprestaties.649 *.559 * Gelijkheid m.b.t. aantal boeken.487 * *p < 0.05 Tabel 7 Correlaties voor graad 4, 2007 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.552 *.373 * observatie extern * leerlingprestaties.580 * teacher peer review Wiskundeprestaties.563 *.359 * Gelijkheid m.b.t. aantal boeken.550 * *p < 0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 30

39 Tabel 8 Correlaties voor graad 4, 2011 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.602 *.561 *.444 * observatie extern.369 * * * * leerlingprestaties.381 * teacher peer review Wiskundeprestaties.649 *.409 * Gelijkheid m.b.t. aantal boeken.615 * *p < 0.05 Tabel 9 Correlaties voor graad 8, 2003 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.480 *.472 *.425 * observatie extern * * leerlingprestaties.542 * teacher peer review * Wiskundeprestaties.638 **.202 Gelijkheid m.b.t. aantal boeken.276 *p < 0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 31

40 Tabel 10 Correlaties voor graad 8, 2007 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.537 *.445 *.437 * observatie extern * ** ** leerlingprestaties.617 * teacher peer review Wiskundeprestaties.694 *.390 * Gelijkheid m.b.t. aantal boeken.349 * *p < 0.05 Tabel 11 Correlaties voor graad 8, 2011 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.493 *.467 *.590 * * observatie extern * * ** ** leerlingprestaties.517 * teacher peer review ** Wiskundeprestaties.623 **.087 Gelijkheid m.b.t. aantal boeken.190 *p < 0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 32

41 Bijlage 4 Beschrijvende statistieken van de verschilscores per graad en periode Tabel 12 Beschrijvende statistieken van de verschilscores voor elke periode, per graad observatie intern observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal Graad 4, Gemiddelde Standaardafwijking Minimum Maximum Graad 4, Gemiddelde Standaardafwijking Minimum Maximum Graad 4, Gemiddelde Standaardafwijking Minimum Maximum Graad 8, Gemiddelde Standaardafwijking Minimum Maximum Graad 8, Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 33

42 Gemiddelde Standaardafwijking Minimum Maximum Graad 8, Gemiddelde Standaardafwijking Minimum Maximum Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 34

43 Bijlage 5 Correlaties verschilscores per graad en periode Tabel 13 Correlaties tussen verschilscores in graad 4, periode observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern * observatie extern * leerlingprestaties.458 * teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken.243 *p < 0.05 Tabel 14 Correlaties tussen verschilscores in graad 4, periode observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern observatie extern leerlingprestaties.525 ** teacher peer review Wiskundeprestaties * Gelijkheid m.b.t. aantal boeken.519 * *p < 0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 35

44 Tabel 15 Correlaties tussen verschilscores in graad 4, periode observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern.507 *.396 * * observatie extern * * leerlingprestaties.599 * * teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken.083 *p < 0.05 Tabel 16 Correlaties tussen verschilscores in graad 8, periode observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern *.361 * observatie extern leerlingprestaties *.064 teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken.798 ** *p < 0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 36

45 Tabel 17 Correlaties tussen verschilscores in graad 8, periode observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern * *.127 observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken *p < 0.05 Tabel 18 Correlaties tussen verschilscores in graad 8, periode observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken Gelijkheid m.b.t. thuistaal observatie intern observatie extern leerlingprestaties teacher peer review Wiskundeprestaties Gelijkheid m.b.t. aantal boeken.657 ** *p < 0.05 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 37

46 Bijlage 6 Exemplarische toelichting bij correlaties tussen de verschilscores van wiskundeprestaties en evaluatie d.m.v. observaties intern voor de verschillende periodes, graad 4 In graad 4 wordt voor de periodes en een niet-significante negatieve samenhang gevonden tussen wiskundeprestaties en evaluatie door middel van interne personen. In de periode wordt een positieve, significante samenhang gevonden. Onderstaande grafieken geven de correlaties grafisch weer. Op basis van deze grafieken zien we dat de gevonden resultaten voornamelijk bepaald worden door het resultaat van enkele landen die een beduidend grotere wijziging in onafhankelijke dan wel afhankelijke variabele kennen. De landen die hierdoor gekenmerkt worden zijn verschillend naargelang de periode en de onafhankelijke variabele die bekeken wordt. Dit betekent dat de resultaten sterk afhangen van de opgenomen landen in de analyses, en dat dus enige nuancering en voorzichtigheid geboden is bij de interpretatie en stabiliteit van de gevonden resultaten. Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 38

47 Invloed van leerkrachtevaluatie op kwaliteit van en gelijkheid in onderwijssystemen 39