1. Bepaal de te evalueren leerresultaten/competenties/leerdoelen/leerinhouden

Transcriptie

1 Toetsmatrijs Omschrijving Een toetsmatrijs is een tabel waarin wordt aangegeven hoe de toetsvragen verdeeld zijn over de te bereiken leerresultaten/ competenties/ leerdoelen/ leerinhouden in relatie tot het niveau waarop je wil toetsen. Een toetsmatrijs is een hulpmiddel om te bewaken dat de toets een goede afspiegeling is van wat en op welk niveau je wil toetsen. In een opleidingsonderdeel met meerdere evaluatie-activiteiten, kan je er voor kiezen om één toetsmatrijs te maken waarin je alle toetsen groepeert of kan je per evaluatie-activiteit een afzonderlijke toetsmatrijs maken. Kader Toetsfase Kwaliteitscriterium Toetsvormen Doelbepaling Ontwikkeling van de toets Validiteit Alle toetsvormen Stappenplan 1. Bepaal de te evalueren leerresultaten/competenties/leerdoelen/leerinhouden Maak een overzicht van de te evalueren leerresultaten/ competenties/ leerdoelen/ leerinhouden. Dit schema vormt de basis voor het kiezen van gepaste toetsvorm(en). Voor meer info zie fiche Modaliteiten kiezen. 2. Kies een gepast sjabloon In deze fiche komen twee sjablonen voor toetsmatrijzen aan bod: - een sjabloon voor mondelinge en schriftelijke examens - een sjabloon voor meer alternatieve toetsvormen (vb. opdrachten, portfolio, vaardigheidstoets (vb. practica), ) 3. Bepaal per leerresultaat/competentie/leerdoel/leerinhoud het relatieve belang in het opleidingsonderdeel Geef aan de hand van percentages het relatieve belang van het leerresultaat/ competentie/ leerdoel/ leerinhoud binnen de cursus als geheel weer. Let wel op, de belangrijkheid is niet OOF-project Toetskoffer: startbagage voor toetscommissies

2 noodzakelijk afhankelijk van het aantal pagina s in de cursus. De belangrijkheid van de leerinhoud in de cursus kan bepaald worden op basis van het aantal contacturen of op basis van het aantal belastingsuren voor de student. Het totaal van de kolom moet altijd 100% zijn. 4. Bepaal per leerresultaat/competentie/leerdoel/leerinhoud het aantal toetsvragen Een toets bestaat uit een x-aantal vragen. Bepaal per leerresultaat/ competentie/ leerdoel/ leerinhoud hoeveel vragen van de toets hierop betrekking moeten hebben op basis van het belang in het opleidingsonderdeel. 5. Bepaal op welk niveau de leerresultaten/ competenties/ leerdoelen/ leerinhouden bevraagd moeten worden In een toets kunnen meerdere niveaus bevraagd worden. Bepaal daarom per toetsvraag het te toetsen niveau. Er zijn verschillende mogelijkheden om niveaus te bepalen. Een veel gebruikte indeling is deze van Bloom (xxx). Onderstaand overzicht (Vandebosch, 2010) is hierop gebaseerd. Via het werkwoord in de toetsvraag kan je dit niveau concretiseren. Herkennen: Reproductie Verdiepen : inzicht Integreren: toepassen Feitenkennis Samenvatten Analyseren Synthetiseren Evalueren Toepassen Benoemen Beschrijven Citeren Definiëren Deduceren Illustreren Onderscheiden Ontrafelen Categoriseren Componeren Formuleren Herschrijven Identificeren Relateren Maken Labelen Schetsen Ontwerpen Opsommen Toelichten Samenvatten Extrapoleren Onderscheid maken Parafraseren Samenvatten Schatten Uitleggen Vertalen Vertellen in eigen woorden Bekritiseren Contrasteren Ondersteunen Rechtvaardigen Valideren Verdedigen Vergelijken Waarderen Berekenen Demonstreren Gebruiken Maken Ontwikkelen Oplossen Organiseren Produceren Relateren Transfereren Veranderen Verklaren Voorbereiden Wijzigen 6. Bepaal per vraag het gewicht Geef ten slotte per toetsvraag het gewicht aan in de hele toets (in % of aantal punten). Dit bepaal je op basis van het belang van de leerresultaten/ competenties/ leerdoelen/ leerinhouden en het beoogde niveau. OOF-project Toetskoffer: startbagage voor toetscommissies

3 Gebruiksaanwijzing Sjabloon mondelinge en schriftelijke examens Het sjabloon Toetsmatrijs heeft als doel een simpel sjabloon aan te bieden aan docenten om een toetsmatrijs op te stellen. Dit sjabloon is zo gemaakt dat het naar de wensen van iedere opleiding of docent kan worden aangepast. Hieronder worden de te ondernemen stappen voor het invullen van het sjabloon voorgesteld. 1. Vul bovenaan bij [naam opleidingsonderdeel] de naam van je opleidingsonderdeel in. 2. Daaronder kan je aangeven van welke toetsvorm je gebruik zal maken. Indien je gebruik maakt van meerdere toetsvormen, dien je dit verder te specifiëren. 3. Bij [puntentotaal] kan je kiezen tussen twee werkwijzen. a. Je kan bij aanvang van het opstellen van de toetsmatrijs aangeven hoeveel punten maximaal verdiend kunnen worden met de toets (bv. een examen op 100 punten). Dit vastgestelde puntentotaal vormt dan de leidraad bij de puntenverdeling over de vragen heen (bv. de eerste vraag staat op 6 punten). b. Je kan ook beslissen om bij aanvang van het opstellen van de toetsmatrijs geen vast puntentotaal vast te leggen. Je gaat dan per vraag na hoeveel punten je hieraan toekent en telt uiteindelijk al deze deelpunten op, wat resulteert in een maximaal puntentotaal. 4. Vervolgens geef je bij [opleidingsfase] aan in welke opleidingsfase het opleidingsonderdeel wordt gegeven, alsook vermeld je bij [semester] in welk semester het opleidingsonderdeel wordt gedoceerd. 5. Als je binnen een opleidingsonderdeel meerdere toetsen aanbiedt, kan je bij de paragraaf [aandeel in totale score] aangeven welk aandeel/belang aan deze toets wordt toegekend. Bv. Binnen het OO Organische chemie maak je zowel gebruik van een labo-examen als een schriftelijk examen. Je kan dan bij [aandeel toets in OO] aangeven dat het schriftelijk examen voor 60% meetelt en het labo-examen voor 40%. 6. Bij [toetsinformatie] kan je nog bijkomende nuttige informatie over de toets specifiëren (bv. beoordelaars, toetstijd, ). 7. Noteer in de kolom [competenties/leerresultaten] de te toetsen competenties/domeinspecifieke leerresultaten. Hierdoor kan je er over waken dat via de toets al de nodige competenties geëvalueerd worden. Belangrijk om weten hierbij is dat leerresultaten en competenties als begrip inwisselbaar zijn. In het kielzog van het Bolognaproces gebruikt het hoger onderwijs leerresultaten (learning outcomes) in plaats van competenties. Leerresultaten bepalen wat een lerende verwacht wordt te kennen, te begrijpen, te doen bij het afronden van een leertraject en de wijze waarop het geleerde kan worden getoond (VLIR-VHLORA, s.d.). 8. Noteer in de kolom [leerdoelen] al de leerdoelen die in de desbetreffende toets zullen afgetoetst worden. Een leerdoel geeft aan wat men met het opleidingsonderdeel wil OOF-project Toetskoffer: startbagage voor toetscommissies

4 bereiken. Het specificeert duidelijk en concreet wat men beoogt anderen eigen te maken op het gebied van kennis, vaardigheden en attitudes. 9. Stel vervolgens een blauwdruk van de toets op. Een blauwdruk is in zijn eenvoudigste vorm een rijtje onderwerpen die in de toets moeten worden bevraagd; dit in de vorm van leerinhouden. Onder leerinhouden verstaan we de verschillende onderwerpen of hoofdstukken die in het opleidingsonderdeel behandeld worden. De leerinhouden noteer je in de kolom [leerinhouden] gekoppeld aan de eerder vernoemde competenties/leerresultaten en leerdoelen. 10. Geef vervolgens voor iedere competentie/leerresultaat/leerdoel/leerinhoud aan de hand van percentages het relatieve belang binnen de cursus als geheel weer in de kolom [belang in OPO]. Let wel op, de belangrijkheid is niet noodzakelijk afhankelijk van het aantal pagina s in de cursus. De belangrijkheid van de leerinhoud in de cursus kan berekend worden op basis van het aantal contacturen of op basis van het aantal belastingsuren voor de student. Het totaal van deze kolom moet altijd 100% zijn. Op basis van dit percentage bepaal je het aantal vragen per competentie/leerresultaat/leerdoel/leerinhoud. 11. Concretiseer je niveau-indeling in de kolommen. TIP: Een hulpmiddel om de niveau-indeling van de toets te bepalen is het gehanteerde werkwoord in de toetsvraag. Een handig hulpmiddel hierbij is onderstaand overzicht uit Vandebosch (2010): Herkennen: Kennis Verdiepen : Inzicht Integreren: Toepassen Feitenkennis Samenvatten Analyseren Synthetiseren Evalueren Toepassen Benoemen Beschrijven Citeren Definiëren Deduceren Illustreren Onderscheiden Ontrafelen Categoriseren Componeren Formuleren Herschrijven Identificeren Relateren Maken Labelen Schetsen Ontwerpen Opsommen Toelichten Samenvatten Extrapoleren Onderscheid maken Parafraseren Samenvatten Schatten Uitleggen Vertalen Vertellen in eigen woorden Bekritiseren Contrasteren Ondersteunen Rechtvaardigen Valideren Verdedigen Vergelijken Waarderen Berekenen Demonstreren Gebruiken Maken Ontwikkelen Oplossen Organiseren Produceren Relateren Transfereren Veranderen Verklaren Voorbereiden 12. Specifieer vervolgens in de linkerkolom onder het desbetreffende niveau en de desbetreffende toets hoeveel vragen je over een bepaalde leerinhoud wilt stellen. In de rechterkolom geef je aan hoeveel gewicht (in percentage of punten) er aan de desbetreffende vraag wordt gekoppeld. OPGELET: hou er rekening mee dat wanneer je bij aanvang een maximaal puntentotaal hebt vastgesteld, de som van al deze deelpunten hieraan gelijk moet zijn. 13. Controleer voor al de kolommen of de totalen kloppen. OOF-project Toetskoffer: startbagage voor toetscommissies

5 14. Tot slot kan je indien nodig nog enkele opmerkingen over de toetsmatrijs noteren. Hiermee voorkom je vaak misverstanden en zijn je keuzes duidelijk voor andere docenten/ buitenstaanders. Bv. Waarom je er misschien voor kiest om een bepaalde leerinhoud niet te toetsen. Is dit slechts een inleidende leerinhoud? Komt de leerinhoud nog meermaals terug in de andere leerinhouden? Sjabloon alternatieve toetsvormen Voor het opstellen van een toetsmatrijs voor alternatieve toetsvormen (bv. portfolio, project, ) ga je grotendeels gelijkaardig te werk als bij het opstellen van een toetsmatrijs voor mondelinge en schriftelijke examens. Meer bepaald doorloop je eveneens de stappen 1 t.e.m. 10 zoals hierboven beschreven. Vanaf stap 11 ga je als volgt te werk: 11. Een belangrijke vraag die hierbij eerst dient gesteld te worden is of je bij de beoordeling gebruik maakt van proces- en/of productevaluatie. Er zijn drie keuzemogelijkheden: Je kiest enkel voor productevaluatie. Bij deze vorm van evaluatie wordt enkel nagegaan of de student bereikt heeft wat van hem verwacht wordt. Er wordt dus enkel gefocust op het uiteindelijke resultaat. Indien gewenst kan je dan de kolom [proces] uit de toetsmatrijs schrappen. Je kiest enkel voor procesevaluatie. Bij deze vorm van evaluatie gaat het niet alleen over het uiteindelijke resultaat van het leerproces, maar vooral over de manier waarop de doelstellingen nagestreefd en gerealiseerd zijn. Indien gewenst kan je dan de kolom [product] uit de toetsmatrijs schrappen. Je kiest voor proces- en productbeoordeling en behoudt beide kolommen in de toetsmatrijs. 12. Wanneer je gebruik maakt van procesbeoordeling, al dan niet in combinatie met productbeoordeling, dienen beide subcategorieën (wijze van procesbeoordeling en aandeel in puntentotaal) ingevuld te worden. a) In de kolom wijze van procesbeoordeling geef je eerst aan op welke manier het leerproces van studenten beoordeeld wordt. Enkele voorbeelden hiervan zijn observatie, peerassessment (studenten die elkaar beoordelen), self-assessment, gesprek met studenten, b) In de kolom aandeel in puntentotaal geef je per wijze van procesbeoordeling aan hoe sterk dit zal doortellen in het puntentotaal. Je kan hier zowel werken met procenten als deelpunten. 11. Wanneer je gebruik maakt van productbeoordeling, al dan niet in combinatie met procesbeoordeling, dienen beide subcategorieën (te beoordelen product en aandeel in puntentotaal) ingevuld te worden. a) In de kolom te beoordelen product geef je aan welke eindproducten zullen beoordeeld worden. Enkele voorbeelden hiervan zijn paper, laboverslag, presentatie, OOF-project Toetskoffer: startbagage voor toetscommissies

6 b) In de kolom aandeel in puntentotaal geef je per eindproduct aan hoe sterk dit zal doortellen in het puntentotaal. Je kan hier zowel werken met procenten als deelpunten. OPGELET: als gebruik maakt van zowel proces- als productbeoordeling is het belangrijk dat de beide kolommen van aandeel in puntentotaal optellen tot 100% ofwel tot het aangegeven maximale puntentotaal. 12. Tot slot kan je indien nodig nog enkele opmerkingen over de toetsmatrijs noteren. Hiermee voorkom je vaak misverstanden en zijn je keuzes duidelijk voor andere docenten/ buitenstaanders. Bv. Waarom je er misschien voor kiest om een bepaalde leerinhoud niet te toetsen. Is dit slechts een inleidende leerinhoud? Komt de leerinhoud nog meermaals terug in de andere leerinhouden? Tips & tricks - Als je meerdere evaluatie-activiteiten gebruikt binnen één opleidingsonderdeel, en dus ook meerdere toetsmatrijzen opstelt, zorg er dan voor dat deze inhoudelijk op elkaar zijn afgestemd. Om het overzicht te bewaken, bundel je de toetsmatrijzen voor één opleidingsonderdeel best samen. - De sjablonen zijn algemene bruikbaar en mogen aangepast worden in functie van de eigenheid van een instelling/ opleiding/opleidingsonderdeel. Meer weten en doen? Anderson, L. W., & Krathwohl, D. R. (red) A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives. New York: Longman. Berkel, H. J. M. van (1996). Zicht op toetsen. Assen: Van Gorcum. Berkel, H. J. M. van, & Bax, A. E. (red) Toetsen in het hoger onderwijs. Houten/ Bohn Stafleu van Loghum. Bloom, B. S. (1956). Taxonomy of educational objectives, handbook I: The cognitive domain. New York: David McKay Co Inc. Vandenbosch, N. (2010). Digitale voortgangstoets: Van concept tot implementatie. Antwerpen- Apeldoorn: Garant. OOF-project Toetskoffer: startbagage voor toetscommissies