Edumetrische analyses

Transcriptie

1 Edumetrische analyses Met de opkomst van het competentiegericht onderwijs zijn ook nieuwe assessmentvormen komen opzetten. Deze assessmentvormen maken het mogelijk om een geïntegreerde geheel van kennis, vaardigheden en attitudes te beoordelen (Diederick & Dochy, 2001). Vanzelfsprekend zorgen deze vernieuwde assessmentvormen ook voor een verschuiving in de kwaliteitsbepaling van de toetsen. Betrouwbaarheid en validiteit, de oorspronkelijke psychometrische kwaliteitscriteria, zijn en blijven belangrijk, maar zijn niet langer voldoende om de kwaliteit van assessments vast te stellen (Borsboom & Mellenbergh, 2004). Nieuwe edumetrische criteria zoals transparantie, selectie en leereffect worden daarom toegevoegd om de kwaliteit van assessments vast te stellen (Baartman, 2008). Ter ondersteuning van het uitvoeren van edumetrische analyses hebben Liesbeth Baartman en Raymond Kloppenburg een Kwaliteitsinstrument Toetsprogramma s (KIT) ontwikkeld om de edumetrische kwaliteit van toetsprogramma s na te gaan. Onder een toetsprogramma wordt een bewust samengesteld geheel van toetsvormen, aangepast aan de doelen, inhoud, opbouw en structuur van het curriculum, verstaan. In een curriculum kunnen horizontaal (bv. alle eerstejaarstoetsen die bepalend zijn voor het bindend studieadvies) en verticaal (bv. alle toetsen die gericht zijn op een cluster van opleidingskwalificaties) samenhangende toetsprogramma s onderscheiden worden. Kader - Analyseniveau: toetsprogramma - Toetsfase: analyseren - Kwaliteitscriteria: betrouwbaarheid, validiteit, - Toetsvormen: alle toetsvormen Stappenplan Het Kwaliteitsinstrument Toetsprogramma (KIT) is een onderdeel van een uitgebreide zelfevaluatieprocedure gericht op het evalueren van de kwaliteit van toetsprogramma s. Het KIT is erop gericht de sterke en zwakke punten van een toetsprogramma te onderkennen. Deze kwaliteitsanalyse gebeurt aan de hand van twaalf kwaliteitscriteria en biedt handvaten voor de verbetering van het toetsprogramma. Voor het uitvoeren van een grondige zelfevaluatie dienen vier stappen doorlopen te worden. 1. Startbijeenkomst Tijdens de startbijeenkomst worden vier belangrijke topics behandeld. - Eerst gaat men bepalen welk toetsprogramma zal geëvalueerd worden, zodat hierover eenduidige opvattingen bestaan onder de evaluatoren. In een curriculum kunnen horizontaal en verticaal samenhangende toetsprogramma s onderscheiden worden. Een voorbeeld van horizontaal samenhangende toetsen zijn alle eerstejaarstoetsen die bepalend zijn voor het bindend studieadvies. Een voorbeelden OOF-project Toetskoffer: startbagage voor toetscommissies

2 van verticaal samenhangende toetsprogramma s zijn alle toetsen die gericht zijn op een cluster van opleidingskwalificaties (bijvoorbeeld met betrekking tot contact met de cliënt of onderzoek). Eenmaal het te evalueren toetsprogramma vastligt, is het belangrijk te duiden welke toetsen allemaal deel uitmaken van dat toetsprogramma. Handige hulpmiddelen hierbij zijn een toetsplan, competentiematrix, congruentietabel, studiegidsfiche, - Gezien de kwaliteitscriteria de basis vormen voor de zelfevaluatie, is het vervolgens belangrijk om deze criteria voor alle evaluatoren scherp te stellen. Op deze manier voorkomt men misinterpretaties. - Daarenboven kan tijdens de startbijeenkomst gezamenlijk informatie over het toetsprogramma verzameld worden. Tijdens het invullen van KIT wordt namelijk bij alle indicatoren gevraagd een score te geven en deze score te onderbouwen met voorbeelden of bewijzen ( waar blijkt dit uit? ). Verschillende informatiebronnen kunnen hiervoor aangewend worden: toetsplannen, toetsmatrijzen, competentiematrices, studiehandleidingen, de daadwerkelijke toetsen, beoordelingsmodellen, studentevaluaties, uw eigen ervaringen in lessen en gesprekken met studenten, - Tot slot is het noodzakelijk om de evaluatoren te informeren over de werking van het KIT. Zij moeten namelijk individueel voor het geselecteerde toetsprogramma al de kwaliteitscriteria beoordelen. 2. Verzamelen van info over het toetsprogramma Bij de startbijeenkomst werd al aangegeven dat er informatie/bewijzen over het toetsprogramma moeten verzameld worden vooraleer het KIT kan ingevuld worden. Je kan evaluatoren gezamenlijk aan het werk zetten tijdens de startbijeenkomst voor het verzamelen van bewijzen, maar ook is het mogelijk dat de evaluatoren zelfstandig op zoek gaan naar bewijzen na de startbijeenkomst. 3. Individueel invullen van het KIT Nadat voldoende informatie verzameld is, gaan de evaluatoren zelfstandig aan de slag met het invullen van het KIT. Bij de paragraaf gebruiksaanwijzing gaan we dieper in op de specifieke invulprocedure. 4. Afsluitend groepsgesprek Nadat alle evaluatoren het KIT individueel hebben ingevuld, is het belangrijk om de resultaten in zijn geheel te bekijken en hier conclusies uit te trekken. Dit is mogelijk tijdens een afsluitend groepsgesprek. Tijdens dit groepsgesprek worden al de evaluatoren door een groepsleider samengeroepen. Deze groepsleider wordt best op voorhand aangeduid en is bij voorkeur een lid van de toetscommissie of iemand die het toetsprogramma zeer goed kent. De groepsleider bereid het groepsgesprek voor door de individuele beoordelingen van de evaluatoren te exporteren naar een Excel-bestand en dit alles samen te vatten. Belangrijk is dat uit dit gesprek duidelijke conclusies worden getrokken over de kwaliteit van het toetsprogramma (Sterke punten? Zwakke punten? Welke verbeteringen?). Deze conclusies worden best samengevat in een verslag van het groepsgesprek. OOF-project Toetskoffer: startbagage voor toetscommissies

3 Tips & tricks - De resultaten uit het instrument zijn gebaseerd op een persoonlijk oordeel van evaluatoren. Koppel dus niet meteen consequenties aan een individueel oordeel, maar probeer steeds de oordelen van al de evaluatoren samen te brengen en te bespreken tijdens het groepsgesprek. - Stel een zekere routine vast in het uitvoeren van de edumetrische analyses. Het is nuttig om bijvoorbeeld jaarlijks of tweejaarlijks dergelijke analyses uit te voeren. - Bij herhaling van de analyses is het belangrijk dat je de nieuwe resultaten, de vorige resultaten en de toen vastgestelde actiepunten worden samen gebracht. Op deze manier kan je nagaan of de actiepunten aangepakt zijn en of er verbetering merkbaar is. - Vergeet niet steeds de ingegeven resultaten te bewaren. Het is aangegeven om meermaals op bewaren te klikken, ook al heb je nog niet al de indicatoren gescoord. Na 20 minuten inactiviteit van een pagina, gaan de niet-bewaarde gegevens verloren. Gebruiksaanwijzing Het Kwaliteitsinstrument Toetsprogramma s (KIT) is toegankelijk via de website Op de startpagina van de website vind je een algemene uitleg over het belang van het instrument, alsook een verwijzing naar de twee ontwikkelaars van het instrument (m.n. Liesbeth Baartman en Raymond Kloppenburg). Wanneer je op de knop Verder klikt, kom je terecht op de loginpagina van het instrument. Het gebruik van het instrument wordt verder geïllustreerd aan de hand van een concreet stappenplan. Al deze stappen dienen doorlopen te worden voor het uitvoeren van edumetrische analyses op uw toetsprogramma. 1) Login aanvragen Zoals je op de loginpagina merkt, dient een login aangevraagd te worden alvorens met het instrument aan de slag kan worden gegaan. Gezien je een geheel toetsprogramma samen met collega s zal beoordelen, moeten al deze collega s een login aanvragen. Deze login kan je aanvragen door op de knop Aanvraag te klikken op de website. Er wordt dan gevraagd naar jouw naam, voornaam, mailadres, de hogeschool en het departement waaraan je verbonden bent. Klik vervolgens op de knop Verzenden om de gegevens te verzenden naar de centrale mailbox. Deze gegevens zullen verwerkt worden en er wordt een login voor jouw aangemaakt. Even later zal je een mail ontvangen met jouw logingegevens. OOF-project Toetskoffer: startbagage voor toetscommissies

4 2) Inloggen Eenmaal je de logingegevens hebt ontvangen, kan je deze ingeven op de loginpagina en aanmelden. 3) Invullen van persoonlijke gegevens Wanneer je de eerste keer inlogt op de website, wordt gevraagd om enkele persoonlijke gegevens in te vullen. Zo geef je jouw naam (1), de naam van de school (2), de naam van de opleiding (3), het niveau van de opleiding (4) en jouw betrokkenheid bij de toetsing (5) in. Vervolgens klik je op Bewaar (6), waarna je automatisch doorgaat naar de pagina met al de kwaliteitscriteria en indicatoren. Wanneer je e volgende keren aanmeldt, kom je niet meer op deze pagina terecht maar ga je automatisch door naar de pagina met de criteria en indicatoren. Als je toch nog veranderingen wil aanbrengen, kan dit altijd door op de knop Persoonlijke gegevens te klikken. OOF-project Toetskoffer: startbagage voor toetscommissies

5 4) Scoren van de kwaliteitsindicatoren Elk kwaliteitscriterium heeft een pagina met daaronder al de indicatoren. Om de verschillende indicatoren te kunnen scoren, dien je telkens op het kwaliteitscriterium te klikken. Wanneer je op de pagina van het kwaliteitscriterium komt met al de indicatoren, kan je van start met het afzonderlijk scoren van iedere indicator. Bij elke indicator wordt gevraagd: - In welke mate is dit van toepassing op uw toetsprogramma? Hier geeft u een score van Vindt u dit voldoende? Hier geeft u aan of u tevreden bent met deze score. U kunt bijvoorbeeld een lage score geven en dit niet voldoende vinden. Dit betekent dat u vindt dat er verbetering nodig is. Maar het kan ook zijn dat u een lage score geeft, en dit toch voldoende vindt. U vindt dan wel dat uw toetsprogramma niet optimaal is, maar vindt dit geen (urgent) verbeterpunt. - Waar blijkt dit uit? Hier geeft u een onderbouwing van uw score. Waaruit blijkt dat uw toetsprogramma inderdaad kwalitatief hoogwaardig is? U kunt hier de informatie / bewijzen over uw toetsprogramma gebruiken. U kunt bijvoorbeeld opschrijven dat alle OOF-project Toetskoffer: startbagage voor toetscommissies

6 toetsen een toetsmatrijs hebben waaruit blijkt dat de toetsen dekkend zijn voor de leerdoelen. Bij het invullen is het belangrijk dat u zoveel mogelijk aandacht besteed aan het invullen van de voorbeelden en bewijzen. Deze informatie geeft het meeste concrete inzicht in de sterke en zwakke kanten van het toetsprogramma en verbeteringen die kunnen worden aangebracht. Het is daarbij van belang dat steeds het hele toetsprogramma in het achterhoofd wordt gehouden. OPGEPAST: vergeet niet steeds na het scoren van de kwaliteitsindicatoren op Bewaar te klikken, anders worden jouw scores niet opgeslagen. 5) Voorbereiding groepsgesprek Zoals bij het stappenplan ook al werd aangehaald, is het belangrijk om de scoring van al de evaluatoren van het toetsprogramma in groep te bekijken om hieruit conclusies te trekken. Ter voorbereiding van dit groepsgesprek kan de groepsleider een overzicht maken van al de scores van al de evaluatoren. Dit overzicht is eenvoudig op te vragen uit te instrument via de knop Overzicht (1). Als je dit overzicht graag wil uitprinten en meenemen naar het groepsgesprek exporteer je het best even naar een Excel-bestand via de knop Exporteren (2). OOF-project Toetskoffer: startbagage voor toetscommissies

7 (1) (2) OOF-project Toetskoffer: startbagage voor toetscommissies

8 Meer weten en doen? Baartman, L., & Kloppenburg, R. (2013). Kwaliteitsinstrument Toetsprogramma s (KIT): handleiding. Utrecht, Nederland: Hogeschool Utrecht. Baartman, L.K.J., Kloppenburg, R., & Prins, F.J. (2013). Kwaliteit van toetsprogramma s. In H. van Berkel, A. Baks & D. Joosten-ten Brinke (red.), Toetsen in het Hoger Onderwijs (3e druk). Houten, Nederland: Bohn Stafleu van Loghum. OOF-project Toetskoffer: startbagage voor toetscommissies