Leerwegonafhankelijke beoordeling

Transcriptie

1 Leerwegonafhankelijke beoordeling Omschrijving Leerwegonafhankelijke beoordelaars zijn beoordelaars die niet betrokken zijn bij het onderwijsleerproces van een student. Leerwegonafhankelijke beoordelaars worden betrokken in het beoordelingsproces: het opstellen van beoordelingscriteria, het uitvoeren van de beoordeling, het geven van de eindscore, Kader Toetsfase Kwaliteitscriterium Toetsvormen Beoordelen en cesuur bepalen Betrouwbaarheid en validiteit Alle toetsvormen waar het zinvol is om met leerwegonafhankelijke beoordelaars te beoordelen (master- of bachelorproef, portfolio, criteriumgericht interview, casustoets, ). Stappenplan Als je ervoor kiest om leerwegonafhankelijke beoordelaars in te zetten bij een evaluatie-activiteit houd je best rekening met de volgende stappen. 1. Plan doelbewust de leerwegonafhankelijke beoordeling. Zet leerwegonafhankelijke beoordeling doelbewust in. Wat wil je met leerwegonafhankelijke beoordelaars bereiken? (zie argumenten pro en contra) Kies ook je leerwegonafhankelijke beoordelaar(s) in functie van je doel. Leerwegonafhankelijke beoordelaars kunnen de volgende personen zijn: een docent/ medewerker van de eigen opleiding, een docent/ medewerker van een andere opleiding, een docent/ medewerker van een andere hogeschool, een expert buiten de instelling,... Bepaal welke beoordelingstaken de leerwegonafhankelijke beoordelaar(s) uitvoert of uitvoeren- ook in functie van je doel: - het opstellen van/ feedback geven op je beoordelingscriteria; - het analytisch beoordelen van de beoordelingscriteria (deelscores); - het globaal beoordelen van de student (geven van een eindscore); - het bepalen van de cesuur; - het verantwoorden van de (deel)scores; - het geven van feedback; -... Leerwegonafhankelijk beoordelen betekent niet dat de docent geen rol meer heeft in het beoordelingsproces. Bepaalde beoordelingstaken kunnen samen uitgevoerd worden door docent en leerwegonafhankelijke beoordelaar. OOF-project Toetskoffer: startbagage voor toetscommissies

2 Laat leerwegonafhankelijke beoordelaars die inhouden, vaardigheden, competenties beoordelen waarin zij omwille van hun praktijkervaring of vakexpertise competent zijn. Je kan werken met beoordelingsteams waarbij je de expertise over het team heen verdeelt. Hoe meer leerwegonafhankelijke beoordelaars, hoe groter de betrouwbaarheid. De docent/ opleiding/ instelling is eindverantwoordelijk voor de beoordeling. Hoe meer taken je aan een externe leerwegonafhankelijke beoordelaar toekent, hoe leerwegonafhankelijker de beoordeling en hoe groter de verantwoordelijkheid van de opleiding/ instelling voor de kwaliteitszorg ervan. 2. Bereid de leerwegonafhankelijke beoordeling voor. Stel een beoordelingsmodel op. Voor een leerwegonafhankelijke beoordeling is het opstellen van een transparant en gebruiksvriendelijk beoordelingsmodel nog belangrijker dan bij een beoordeling door de docent. Voor meer info, zie fiche Beoordelen. Stel een beoordelingsprocedure op. Dit geldt ook voor de beoordelingsprocedure. Als je met verschillende leerwegonafhankelijke beoordelaars werkt, is een duidelijke beoordelingsprocedure zodat studenten op een vergelijkbare manier beoordeeld worden, nog belangrijker. In de beoordelingsprocedure kan je de volgende aspecten expliciteren: - Wat is het doel van de leerwegonafhankelijke beoordeling? - Welke taken verwacht je van de beoordelaar(s)? - Wat moet de beoordelaar invullen op het beoordelingsformulier? Hoe en waar moet hij zijn score verantwoorden? - Verwacht je voorbereiding van de beoordelaar? - Hoe gebruikt de beoordelaar de beoordelingscriteria? Als aandachtslijstje, als afvinklijstje? - Wat met competenties die hij niet kan observeren? - Beoordeelt de beoordelaar enkel op deelaspecten of geeft hij ook een eindscore? Wat is de cesuur (de beslisregels op basis waarvan de eindscore bepaald wordt)? - (Wanneer met meerdere beoordelaars wordt gewerkt). Geeft de beoordelaar een individuele score die wordt gemiddeld of vindt er beoordelaarsoverleg plaats waarin de beoordelaars door moderatie in consensus tot een eindscore komen? - Geeft de beoordelaar mondelingdirecte feedback na afloop van de beoordeling? Moet hij die feedback schriftelijk noteren? -... Informeer de leerwegonafhankelijke beoordelaars grondig. Zorg dat leerwegonafhankelijke beoordelaars goed weten wat er van hen verwacht wordt. Informeer hen over de beoogde leerdoelen/ competenties/ leerresultaten, over de evaluatieactiviteit(en), het beoordelingsmodel, de beoordelingsprocedure, de praktische organisatie (hoe, waar, wanneer, wie, ), Organiseer een training voor leerwegonafhankelijke beoordelaars. Zet indien mogelijk een training op voor leerwegonafhankelijke beoordelaars. In zo'n training beoordelen de leerwegonafhankelijke beoordelaars effectief een aantal (fictieve) studenten. Door het expliciteren van de scores/ beoordelingen, het verantwoorden ervan, hierover samen te OOF-project Toetskoffer: startbagage voor toetscommissies

3 reflecteren en te discussiëren, worden de beoordelingen en de (persoonlijke interpretatie van de) beoordelingscriteria op elkaar afgestemd. Bereid de organisatie van de leerwegonafhankelijke beoordeling goed voor. Bij de organisatie van leerwegonafhankelijke beoordelaars komt heel wat kijken: promoten van leerwegonafhankelijke beoordeling, zoeken van bereidwillige beoordelaars, samenstellen van de beoordelingsteams, uitnodigen en informeren van de beoordelaar(s), vastleggen van meerdere examenlokalen, bezorgen van het beoordelingsmateriaal, 3. Voer de leerwegonafhankelijke beoordeling uit. Zorg voor een duidelijk aanspreekpunt voor leerwegonafhankelijke beoordelaars in geval van vragen, problemen, last minute verontschuldigingen, Wees voorbereid op leerwegonafhankelijke beoordelaars die afzeggen en zorg dat je flexibel kan omgaan met onvoorziene omstandigheden. 4. Zet in op de kwaliteitszorg van de leerwegonafhankelijke beoordeling. Evalueer achteraf op basis van wat je met de leerwegonafhankelijke beoordeling wilde bereiken (zie doel onder punt 1. Analyseer de beoordeling kwantitatief (zie fiche psychometrische analyses). Bij meerdere beoordelaars, bewaak je de interbeoordelaars-betrouwbaarheid van de evaluatie. Liggen de scores van de verschillende beoordelaars te sterk uit elkaar, neem dit dan verder onder de loep. Bevraag zowel bij leerwegonafhankelijke beoordelaars, de docent(en) en je studenten. Stel je leerwegonafhankelijke beoordelingspraktijk bij aan de hand van de feedback. Zet bovendien voor en tijdens het beoordelingsproces in op kwaliteitszorg van je leerwegonafhankelijke beoordeling door: - het professionaliseren van je leerwegonafhankelijke beoordelaars; - het opbouwen van een 'pool' van deskundige leerwegonafhankelijke beoordelaars; - het inschakelen van een tweede (of derde) beoordelaar; - het inbouwen van beoordelaarsoverleg tussen beoordelaars na de individuele beoordelingen; - het inzetten van een extra beoordelaar bij twijfelgevallen/ grijze zonestudenten; - het afstemmen van de beoordelingscriteria met de leerwegonafhankelijke beoordelaars in functie van een eenduidige interpretatie ervan; - het bewaken van de link tussen de leerdoelen/competenties/leerresultaten, de beoordelingscriteria enerzijds en de scores, de verantwoording en de feedback van de beoordelaars anderzijds; - het inbouwen van een normeringsmoment achteraf waarbij met alle docenten bekeken wordt of de beoordelingscriteria en vooropgestelde cesuur over de hele groep van studenten heen op dezelfde manier toegepast werd; - Tips & tricks Creëer een win voor de leerwegonafhankelijke beoordelaars: een vorm van professionalisering, een recruteringsvoordeel, eventuele incentive of vergoeding, OOF-project Toetskoffer: startbagage voor toetscommissies

4 Bereid studenten voor op leerwegonafhankelijke beoordeling. Bouw indien mogelijk leerwegonafhankelijke formatieve toetsen in zodat studenten tijdens het onderwijsleerproces leren omgaan met leerwegonafhankelijke beoordeling. Bouw een leerlijn van leerwegonafhankelijke beoordeling in je toetsprogramma/ toetsplan in. Bij verschillende leerwegonafhankelijke beoordelaars is het aan te raden om alle studenten van een bepaalde groep indien mogelijk door eenzelfde beoordelaarsteam te laten beoordelen. Pro & Contra Pro Contra - positief effect op de motivatie van student en docent; - intensifiëring van het onderwijsleerproces: de docent is niet langer rechter en partij tegelijkertijd; - inspirerend en leerrijk voor de docent om de onderwijspraktijk door een externe bril te kunnen bekijken; - verhoogt de (begrips)validiteit van de evaluatieactiviteit: leerdoelen/competenties/ leerresultaten staan centraal; - objectiviteit: de docent als evaluator blijft in zekere mate altijd beoordelaar van zijn eigen onderwijspraktijk, de beoordeling wordt niet gekleurd door gebeurtenissen die zich tijdens het onderwijsleerproces hebben voorgedaan of door een te nauwe relatie tussen docent (als coach) en student; - studenten vinden de beoordeling van leerwegonafhankelijke beoordelaars leerrijk (zinvolle feedback); - de student leert omgaan met verschillende referentiekaders als er ten minste de ruimte is om deze referentiekaders te expliciteren en mee te nemen in de feedback naar studenten. Het middelen van individuele eindscijfers is erg efficiënt, maar nivelleren de eindresultaten. Beoordelaarsoverleg of een gesprek hierrond maken de verschillende referentiekaders zichtbaar wat een rijke - sommige studenten krijgen meer stress wanneer ze beoordeeld worden door een beoordelaar die ze niet kennen; - sterk product (resultaat)gericht indien de beoordeling enkel door leerwegonafhankelijke beoordelaars gebeurt. Zij hebben doorgaans minder zicht op het proces, de voortgang, de attitudes, professionele identiteit, ; - aan leerwegonafhankelijke beoordeling kan een serieus prijskaartje kleven; - organisatorisch complex; - de transparantie van de evaluatie is een aandachtspunt. Het referentiekader van waaruit de student leert, en dat waarmee de student beoordeeld wordt, kunnen verschillen. Het werkveld is zeer divers. De beoordeling kan sterk afhankelijk zijn van het persoonlijke referentiekader van de beoordelaar. Het gebrek aan een duidelijk kader maakt dat het voor de student niet altijd duidelijk is wat er van hem verwacht wordt. OOF-project Toetskoffer: startbagage voor toetscommissies

5 bron van informatie en feedback kan opleveren in het licht van het verdere leerproces. - Vorm van externe validering; - het werkveld kan beter zicht hebben op hedendaagse professionele verwachtingen; - meerdere beoordelaars verhoogt de betrouwbaarheid van de evaluatie. Meer weten en doen? Commissie externe validering examenkwaliteit hoger beroepsonderwijs. (2013). Vreemde ogen dwingen. HBO-raad. KLARUS, R. (1998). Competenties erkennen; een studie naar modellen en procedures voor leerwegonafhankelijke beoordeling van beroepscompetenties. Academisch Proefschrift. Den Bosch: CINOP. Wijnants, L., Hermans, I., & Vandeput, L. (2012). Leerwegonafhankelijk Summatief Toetsen. Leuven: Lannoo. OOF-project Toetskoffer: startbagage voor toetscommissies