Rapportage. Project EVC-Procedure Sociale Geneeskunde

Transcriptie

1 Rapportage Project EVC-Procedure Sociale Geneeskunde

2 KNMG September 29 Drs. Corry den Rooyen, projectleider EVC Dr. Marlies de Rond, beleidsadviseur Rapportage project EVC-procedure 2

3 Inhoudsopgave Hoofdstuk 1 Inleiding 4 Blz Hoofdstuk 2 Assessoren en toetsinstrumenten 9 Hoofdstuk 3 Kandidaten 13 Hoofdstuk 4 EVC-procedure 16 Hoofdstuk 5 Conclusies en aanbevelingen 25 Bijlagen 29 Bijlage 1: Overzicht gegevens assessoren en kandidaten 3 Bijlage 2: Voorbeelden van toetsmatrijzen 32 Bijlage 3: Verantwoording projectorganisatie 48 Bijlage 4: Programma assessorentraining 5 Bijlage 5: Stellingen 51 Rapportage project EVC-procedure 3

4 Hoofdstuk 1 Inleiding In deze rapportage wordt verslag gedaan van de pilot EVC-procedure die heeft gelopen van 1 september 28 tot 1 september 29. In het eerste hoofdstuk wordt de aanleiding en toelichting op de pilot en de procedure beschreven. Achtereenvolgens wordt verslag gedaan over de assessoren, de kandidaten, de informatievoorziening en tot slot de EVC-procedure. In hoofdstuk 5 staan de conclusies en aanbevelingen beschreven. De rapportage is tot stand gekomen op basis van de opgedane ervaringen en een evaluatieonderzoek. De project- en stuurgroepleden hebben de verschillende concept-versies van feedback voorzien. Aanleiding voor de pilot EVC-procedure Vanuit het perspectief van het beroep is het wenselijk dat de arts in opleiding gaat, zodra hij start met het werk of zeer snel daarna. Echter de praktijk binnen het werkveld van de sociale geneeskunde is anders. Hier werken nogal eens artsen die niet geregistreerd zijn in het specialisme. Dit is vaak geen wettelijk vereiste. Arbeidsorganisaties in dit veld maken eigen keuzes in het scholingsbeleid voor artsen. In de praktijk betekent dit dat sommige artsen nooit in opleiding gaan, anderen geruime tijd werken voordat zij in opleiding komen of sommigen wel in opleiding gaan, maar deze -om verschillende redenen- niet af maken. Daarnaast neemt de arbeidsmobiliteit toe en is er een toenemende stroom artsen, die van werkveld verandert en daarmee voor omscholing naar een ander specialisme in aanmerking komt als zij-instromer. Van oudsher kwam deze laatste groep in aanmerking voor vrijstelling van delen van de beroepsopleiding. Ook is er een trend waarneembaar dat organisaties (beroeps) scholing in eigen beheer willen uitvoeren en voor deze scholing ook erkenning willen krijgen omdat zij bijdraagt aan competentieverwerving. Voor al deze situaties geldt dat er competenties verworven worden. Het gebruik van een procedure, die leidt tot erkenning van deze verworven competenties zou dan ook in meerdere opzichten tot voordeel kunnen leiden. Daarom is binnen de modernisering van de opleidingen in dit veld een procedure ontwikkeld die in eerste instantie voor zij-instromers in deze behoefte kan voorzien, namelijk Erkenning van eerder Verworven Competenties (EVC) procedure. Het college sociale geneeskunde (CSG) heeft in mei 28 ingestemd met een pilot van de EVC procedure, waarmee een kandidaat aanspraak kan maken op compensatie 1 van delen van de opleiding. De drie verenigingen (NVVG, NVAB en KAMG) hebben hun medewerking aan het project verleend. 1 Compensatie: nieuw begrip voor oude vrijstelling van opleidingsonderdelen.

5 Doelstellingen Het project kent de volgende doelen: - Uitvoeren van de EVC-procedure, per specialisme vijf kandidaten - Monitoren van de uitvoering van de EVC-procedure - Evalueren van de EVC-procedure - Adviseren van het CSG op basis van de uitkomsten van het project (en eventueel voorstel voor aanpassing van regelgeving) - Op basis van de evaluatie bijstellen van de EVC-procedure (in geval van positief advies) - Evaluatie ter kennisgeving aan beide andere colleges aanbieden Werkwijze Voor de uitvoering van het project zijn de volgende activiteiten verricht: - Er is een projectgroep samengesteld met vertegenwoordigers van opleidingsinstituten en wetenschappelijke verenigingen/beroepsverenigingen (assessoren) - De wetenschappelijke verenigingen hebben assessoren geworven die als assessor in de pilot willen participeren (inclusief volgen training) - Assessoren zijn getraind - Informatie voor kandidaten is uitgewerkt en aan hen beschikbaar gesteld: dit betrof de werkwijze van de EVC- procedure - De procedure is uitgevoerd (minimaal 15 kandidaten uit de zij-instroom) - De pilot is geëvalueerd - Het advies is voor het College opgesteld De looptijd van het project is van september 28 tot september 29. Communicatie De communicatie over het project is via de verenigingen en de website van de KNMG verlopen. In februari 29 is een nieuwsbrief samengesteld en verstuurd naar betrokken verenigingen en instituten. Nieuwsberichten zijn vervolgens op relevante websites en in nieuwsbrieven geplaatst. Tevens is de nieuwsbrief op de KNMG-site gepubliceerd. Naar aanleiding van deze nieuwsbrief hebben zich nog een aantal kandidaten voor de pilot aangemeld. Na het afronden van het project zal een laatste berichtgeving over de ervaringen met en de uitkomsten van het project worden gepubliceerd. Evaluatie Om de kwaliteit van de EVC-procedure te monitoren, te onderbouwen en te bewaken is de EVC-procedure geëvalueerd. In deze evaluatie stonden de assessoren, de toetsinstrumenten (toetsmatrijzen en interview) en de gevolgde procedure centraal. Rapportage project EVC-procedure 5

6 De belangrijkste vragen die met de evaluatie beantwoord zijn: - Zijn de toetsinstrumenten betrouwbaar en beoordelen de assessoren op dezelfde manier? - Zijn de toetsinstrumenten valide, met andere woorden kunnen aan de hand van de toetsinstrumenten de competenties van de kandidaten worden gemeten? - Is de EVC-procedure praktisch uitvoerbaar? Er is onderzoek gedaan bij zowel de assessoren (12 assessoren) als de deelnemers (19 deelnemers). Helaas hebben niet alle kandidaten (2) de vragenlijst ingevuld (respons = 89,5%). De assessoren hebben twee maal een vragenlijst ingevuld; na afloop van de assessorentraining en nadat de procedure doorlopen was. De kandidaten hebben na afloop van de procedure een korte vragenlijst voorgelegd gekregen en een aantal van hen (12 kandidaten) zijn direct na het interview met de assessoren door de onderzoeker geïnterviewd. Het combineren van deze twee onderzoeksvormen levert voordelen op: de vragenlijsten leveren kwantitatieve data en de interviews geven extra informatie over de ervaringen van de kandidaten (kwalitatieve informatie). Niet alle kandidaten zijn geïnterviewd daar de volgende interviews geen nieuwe informatie opleverden (saturatie). In de vragenlijsten zijn open vragen opgenomen, multiple choice vragen en stellingen. De vragenlijsten zijn terug te vinden in Bijlage 2 en de resultaten van de stellingen in Bijlage 5. Projectorganisatie stuur- en projectgroep In september 28 is het project officieel van start gegaan. De activiteiten waren gericht op het starten van een stuur- en projectgroep en vervolgens op het werven en trainen van assessoren en werven van kandidaten voor het project. De stuur- en projectgroep zijn conform het projectvoorstel samengesteld (bijlage 3) en hebben hun taken binnen het project kunnen uitvoeren. Betrokken organisaties: opleidingsinstituten en beroepsverenigingen De door de SGRC erkende opleidingsinstituten zijn na een aankondiging per mail, per brief en in een persoonlijk gesprek geïnformeerd over de pilot en zij zijn verzocht om hun medewerking aan het project te verlenen. De opleidingsinstituten hebben ingestemd met het meewerken aan de EVC-procedure in de vorm van deelname van een instituutsopleider aan de projectgroep. Hiermee is betrokkenheid en het kunnen leveren van input op proces en product gewaarborgd. Daarnaast is de door de projectgroep gevraagde informatie door de instituten beschikbaar gesteld. Rapportage project EVC-procedure 6

7 De drie beroepsverenigingen (NVAB; KAMG en NVVG) zijn via het CSG en de projectleiders geïnformeerd over de pilot. Op basis daarvan hebben zij hun medewerking toegezegd in de vorm van het samenstellen van de stuurgroep en het aanleveren van kandidaat-assessoren. Juridisch kader: experimenteerbesluit en Europese registratie Voor de duur van het project is een experimenteerbesluit opgesteld waarmee kandidaten verzekerd zijn dat de uitkomst van de procedure wettelijk geregeld is. Het besluit is door het CSG vastgesteld. Het besluit voorziet in de erkenning van verworven competenties, hetgeen kan leiden tot compensatie van delen van de opleiding tot sociaal-geneeskundige. Het voorziet niet in de uitgifte van eventuele eindverklaringen die binnen de huidige regelgeving door de instituutsopleider wordt afgegeven ten behoeve van registratie in het desbetreffende specialistenregister. Europese registratie) Op grond van Europees recht moeten de opleidingen in de sociaal- geneeskundige specialismen arbeid en gezondheid (bedrijfsgeneeskunde resp. verzekerings-geneeskunde) en maatschappij en gezondheid ten minste 4 jaar duren. Daarbij is sprake van theoretisch en praktisch onderwijs in erkende specifieke opleidings-plaatsten 2. De opleiding wordt onder toezicht van de bevoegde autoriteiten of instellingen gegeven. De registratiecommissie geeft na afronding van de opleiding een verklaring af dat iemand aan de eisen van de 4-jarige opleiding heeft voldaan. Dat is alleen mogelijk als de competenties zijn verworven in een situatie die 1 op 1 gelijk is aan de opleidingseisen van het CSG. Als daarvan sprake is, is een deel van de opleiding gecompenseerd3. Als competenties zijn verworven in een andere situatie, met name in een niet erkende opleidingssetting, dan zou de SGRC niet kunnen verklaren dat men is opgeleid conform de opleidingseisen. Op het af te geven bewijs van inschrijving in een register van specialisten zou in dat geval vermeld kunnen worden dat er sprake is van verworven competenties. Dat zou kunnen inhouden dat een sociaal-geneeskundige die door middel van het erkennen van verworven competenties een specialistenopleiding afrondt, in de lidstaten van de Europese Gemeenschap geen beroep kan doen op het vrije verkeer omdat het bewijs van inschrijving niet automatisch erkend zou worden. Men zou echter kunnen overwegen om dat bij de inschrijving als bijzonderheid op te nemen en geen bewijs van inschrijving af te geven. Artsen die een beroep doen op de EVC-procedure zouden hiervan vooraf op de hoogte moeten worden gesteld. 2 Richtlijn 25/36/EG van het Europees Parlement en de Raad van 7 september 25 betreffend de erkenning van beroepskwalificaties 3 zo formuleert het Kaderbesluit CSG dat nu ook Rapportage project EVC-procedure 7

8 Wij kennen nu ook registraties die niet Europees erkend zijn: gelijkgestelden, degenen die nog niet aan de verbredende scholing ex art. 4 CSG-besluit voldeden, artsen M&G/sportgeneeskunde. Wat binnen Europa de consequentie is van het waarderen van ervaring, opgedaan in een niet erkende opleidingssetting, is nog onvoldoende duidelijk. In Europa wordt in toenemende mate gesproken over het valideren van niet-formeel en informeel leren met de bedoeling alle kennis en bekwaamheden waarover een individu beschikt in kaart te brengen en te waarderen, los van de vraag waar of hoe zij zijn verworven. 4 Dit punt vraagt dan ook om verder onderzoek. Bijlagen In Bijlage 1 treft u een overzicht van gegevens van de kandidaten en assessoren (geanonimiseerd). Voorbeelden van uitgewerkte toetsmatrijzen is te vinden in Bijlage 2. In Bijlage 3 is een verantwoording voor de projectorganisatie opgenomen en in Bijlage 4 de inhoud van de assessorentraining. Tot slot staan in Bijlage 5 de resultaten van de stellingen uit de vragenlijst vermeld. 4 Verdrag van Kopenhagen, 3 november 22 Rapportage project EVC-procedure 8

9 Hoofdstuk 2 Assessoren en toetsinstrumenten In dit hoofdstuk wordt de aanmelding en de training van assessoren en ontwikkeling van de toetsinstrumenten beschreven. Aanmelding en verdeling Via de verenigingen zijn assessoren aangemeld bij het project om gedurende de pilot als assessor op te treden. De eisen die aan assessoren gesteld worden zijn: - afkomstig uit het betreffende specialisme waarvoor men als assessor optreed - tenminste 3-5 jaar in het desbetreffende specialisme zijn geregistreerd - tenminste 2 jaar als opleider geregistreerd - opgeleid om methodisch en conform regelgeving het assessment uit te voeren en tot een gemotiveerde beoordeling te komen (streven naar gecertificeerde assessoren) In totaal zijn er twaalf assessoren aangemeld met de volgende verdeling over de drie specialismen: - Verzekeringsgeneeskunde: 6, waarvan één assessor afkomstig is uit de Nederlandse Vereniging van Geneeskundig Adviseurs in particuliere Verzekeringszaken (GAV) - Bedrijfsgeneeskunde: 2. Uit persoonlijke overwegingen heeft 1 assessor zich in mei 29 teruggetrokken. Via de vereniging is een vervanger gevonden die voldoet aan de kwaliteitseisen. Deze assessor heeft de training niet gevolgd. Hij is wel over de belangrijkste onderdelen uit de training geïnformeerd. - Maatschappij en Gezondheid: 4, allen M&G geregistreerd inclusief profielregistratie JGZ, I&A en B&A. De assessoren zijn bij aanvang van het project tijdens een bijeenkomst geïnformeerd over de EVC-pilot, de EVC-procedure en over de eisen die gesteld worden aan een assessor. Kwaliteit assessoren De assessoren voldoen allen aan de eis dat zij meer dan vijf jaar geregistreerd staan als specialist (in het betreffende specialisme) en werkzaam zijn in het desbetreffende veld. Assessoren zijn vanuit hun vereniging in meer of mindere mate betrokken geweest bij de modernisering van de opleidingen en hebben in verschillende colleges, commissies en/of kwaliteitsvisitaties binnen het vakgebied, opleiden en/of kwaliteitszorg geparticipeerd. Zij zijn allen betrokken (geweest) bij het opleiden van aios. Niet alle assessoren hebben recent nog een aios in opleiding gehad. Daarmee voldoen zij niet aan de eis dat een assessor de laatste twee jaar als opleider moet hebben gewerkt. Uit de evaluatie blijkt dat niet alle assessoren (n=5; 42%) de opleidingseis noodzakelijk vinden: je hoeft niet perse opleider te zijn, het is wel belangrijk dat je betrokken bent bij opleiden en het ontwikkelen van opleidingen Rapportage project EVC-procedure 9

10 Dit blijkt ook onder de kandidaten te leven: 5 kandidaten (29%) vinden het niet noodzakelijk dat assessoren opleider zijn, 7 kandidaten (42%) vinden het wel noodzakelijk en 5 kandidaten (29%) hebben hier geen mening over. Op basis van de totale kwalificaties van iedere assessor is met instemming van de stuurgroep besloten dat het ontbreken van deze eis voor de pilot geen consequenties heeft. Training assessoren en ontwikkeling toetsinstrumenten Om de assessoren voor te bereiden op de beoordeling van kandidaten zijn zij gericht getraind in het afnemen van assessments (zie Bijlage 4 voor het programma). Deze training is verzorgd door Psy-Tech, een bureau gespecialiseerd in het ontwikkelen van assessments en in het trainen van assessoren. Voor de training zijn 21 accreditatiepunten toegekend. De training van de assessoren diende naast het leren van het afnemen van assessments tevens voor het met elkaar bepalen welke toetsinstrumenten geschikt zouden zijn voor het beoordelen van de competenties van kandidaten. Op basis van bestaande EVC-projecten buiten de medische sector en op basis van literatuuronderzoek is besloten om als belangrijkste toetsinstrumenten een gestructureerd portfolio en een assessmentgesprek (volgens de STARR-methodiek) te hanteren. Door de assessoren is dit voorstel overgenomen en uitgewerkt conform een format. De mate van detaillering waarin dit format is uitgewerkt verschilt per specialisme; Verzekeringsgeneeskunde en Bedrijfsgeneeskunde zijn gedetailleerder uitgewerkt dan 2 de fase Maatschappij & Gezondheid. De reden hiervoor is dat de 2 de fase M&G een hogere mate van abstracte KBA s kent c.q. minder gedetailleerd is dan de overige specialismen. Deze abstractie is kenmerkend voor de 2 de fase M&G. De constatering is dan ook dat de mate van detaillering sterk afhankelijk is van de onderliggende KBA s/informatie. De toetsingsmatrijzen zijn als volgt opgesteld. Per Kritische Beroeps activiteit (KBA) zijn, op basis van de competentieprofielen en de competentiematrix, de indicatoren en het soort bewijsmateriaal uitgewerkt. Tevens is bepaald aan welke criteria en weging moet worden voldaan. De weging geeft aan, aan hoeveel criteria minimaal (en met welk bewijsmateriaal en soort) moet zijn voldaan om een onderdeel als voldoende te kunnen beoordelen. De competentieprofielen, KBA s en competentiematrix zijn afkomstig uit het handboek sociale geneeskunde 5 en de wetenschappelijke verenigingen. Het handboek is als input gebruikt voor de ontwikkeling van de toetsinstrumenten c.q. de weging van de indicatoren. Zie Bijlage 2 voor de uitwerking van KBA intake voor verzekeringsgeneeskunde, KBA positiebepaling voor bedrijfsgeneeskunde en KBA Pro-actief signaleren voor Maatschappij en Gezondheid. 5 College voor Sociale Geneeskunde, KNMG. Handboek sociale geneeskunde: modernisering medische vervolgopleidingen. Utrecht, 27 Rapportage project EVC-procedure 1

11 In januari 29 is een bijeenkomst belegd met instituutopleiders en assessoren om de toetsinstrumenten op hoofdlijnen te bespreken en af te stemmen. Vanuit de NSPOH is naar aanleiding hiervan een voorstel aan de projectgroep gedaan om, vanwege de verschillen en mate van detaillering tussen de 3 specialismen, te komen tot een eenduidig en handzaam format. De projectgroep heeft op dat moment besloten om de formats te hanteren zoals deze door de assessoren zijn uitgewerkt en op basis van de evaluatie te besluiten of dit aanpassingen behoeft. Overwegingen hierin zijn eenduidigheid, betrouwbaarheid en mate van detaillering. Daarnaast is de bruikbaarheid voor assessoren en kandidaten relevant. Gedurende de training bleek dat de ontwikkeling van de toetsinstrumenten en met name het aanbrengen van wegingsfactoren per KBA, aanzienlijk meer tijd te kosten dan gepland. Om die reden is de oefening met de toetsinstrumenten verschoven van 4 december 28 naar 2 februari 29. Deze verschuiving heeft niet geleid tot vertraging in het project. Het heeft wel tot gevolg gehad dat de kandidaten de formats met indicatoren (KBA s) en de weging hiervan pas later hebben ontvangen (februari 29 voor Verzekeringsgeneeskunde en M&G, Bedrijfsgeneeskunde begin april 29). Evaluatie van de training Na afloop van de training hebben alle assessoren een vragenlijst ingevuld. Elf assessoren verwachtten van de training dat zij theoretische kennis zouden opdoen en praktische vaardigheden zouden leren. Bij 5 assessoren (42%) zijn die verwachtingen uitgekomen, bij 6 assessoren (5%) gedeeltelijk, 1 assessor (8%) had geen mening. Het niet uitkomen van de verwachtingen hing vooral samen met het feit dat de assessoren de toetsinstrumenten nog moesten ontwikkelen (m.n. uitwerken van indicatoren en toetsmatrijzen): Ik had niet verwacht dat de toetsingsinstrumenten nog ontwikkeld zouden moeten worden. De training is door twee ervaren trainers verzorgd. Deze trainers zijn voldoende tot goed geëvalueerd. Alle assessoren vonden de oefeningen die in de training werden aangeboden nuttig en hebben tijdens de training voldoende suggesties gekregen om hun vaardigheden als assessor te verbeteren. Als beste onderdelen van de training werden de observatieoefeningen en de oefengesprekken met simulatie kandidaten genoemd. De meerderheid van de assessoren vond dat er geen overbodige onderdelen in de training zaten, 2 assessoren vonden de eerste dag niet afgestemd op het niveau van de groep. De training werd door de assessoren met het schoolcijfer 7,7 beoordeeld. Na de EVC-procedure hebben de assessoren nogmaals een vragenlijst ingevuld. In deze vragenlijst is onder andere gevraagd naar wat zij in de training hebben gemist en wat Rapportage project EVC-procedure 11

12 achteraf zinvol zou zijn geweest. Een aantal assessoren (n=3; 25%) gaf bij deze vraag aan dat zij tijdens de training meer hadden willen oefenen in het afnemen van een STARR interview. Rapportage project EVC-procedure 12

13 Hoofdstuk 3 Kandidaten In dit hoofdstuk wordt beschreven hoe de kandidaten zich hebben kunnen aanmelden, hoeveel kandidaten zich hebben aangemeld en welke informatie zij hebben ontvangen. Aanmelding Zonder een formele informatie- en aanmeldingsprocedure hebben voldoende kandidaten zich voor de pilot aangemeld. Via verschillende kanalen hebben kandidaten informatie over de EVC-pilot ontvangen. Het merendeel is via de opleidingsinstituten en de SGRC op de hoogte gebracht van de pilot en hebben zich vervolgens per mail of telefonisch aangemeld. Hun potentiële kandidaatstelling is per bevestigd en tegelijkertijd hebben zij de digitale handleiding van de EVC-procedure ontvangen. In januari 29 zijn alle potentiële kandidaten benaderd met het verzoek om zich definitief aan te melden voor de procedure. De kandidaten hebben getekend voor deelname aan het totale traject en een borg betaald van 5,= die na afloop van de procedure is terugbetaald. Aantal kandidaten De pilot is opgezet om in eerste instantie zij-instromers uit andere werkvelden de mogelijkheid te geven om middels de EVC-procedure vrijstelling te krijgen voor onderdelen van de opleiding. Echter de kandidaten die zich opgaven bleken vaak al langere tijd in het veld werkzaam te zijn en op basis daarvan en hun eventuele eerdere specialisaties voor de procedure in aanmerking te willen komen. In afstemming met de stuur- en projectgroep is voor verruiming van de instroom gekozen. In totaal hebben 29 potentiële kandidaten zich voor de pilot aangemeld. Uiteindelijk hebben 19 kandidaten aan de pilot deelgenomen. De verdeling per specialisme is als volgt: - 11 Arts Maatschappij & Gezondheid (waarvan een aantal aanvragen voor profiel Jeugdgezondheidszorg of Indicatie en Advies) - 3 Bedrijfsgeneeskunde, ondanks inspanningen is het helaas niet gelukt om meerdere kandidaten in de pilot te betrekken. Het is niet bekend waarom er niet meer aanmeldingen zijn geweest. - 5 Verzekeringsgeneeskunde, waarvan 1 kandidaat afkomstig uit de private sector (GAV). In Bijlage 1 is een overzicht van alle kandidaten opgenomen. De potentiële kandidaten die zich hebben teruggetrokken, gaven hiervoor als reden dat de tijdsinvestering in het samenstellen van een portfolio voor hun niet op woog tegen de eventuele uitkomsten. Er heeft geen uitgebreide navraag bij hen plaats gevonden. Rapportage project EVC-procedure 13

14 Informatieverstrekking over deelname aan de EVC-pilot Op basis van beschikbaar materiaal van bestaande EVC-trajecten buiten de medische sector en richtlijnen Kenniscentrum EVC is voor de kandidaten een handleiding EVC-procedure samengesteld. In deze handleiding staat beschreven wat onder de EVC-procedure wordt verstaan, de werkwijze en hoe een portfolio samen te stellen. Per specialisme zijn de specifieke onderdelen als competentieprofiel en KBA s opgenomen. In conceptvorm is de handleiding aan de projectgroep voorgelegd en op basis van feedback bijgesteld. Vervolgens is deze aan de kandidaten ter beschikking gesteld. Aan de hand hiervan is de workshop portfolio voor kandidaten opgezet. Daarnaast hebben kandidaten in een later stadium, na afronding van de training voor assessoren, de toetscriteria per KBA (Kritische Beroeps Activiteit), inclusief weging, als onderdeel van het portfolio ontvangen. Evaluatie Zowel aan assessoren als aan kandidaten is gevraagd in hoeverre zij het belangrijk achten dat een kandidaat ervaring heeft in het specialisme waarvoor vrijstellingen worden aangevraagd. Veertien kandidaten (83%) vinden het belangrijk dat kandidaten ervaring hebben in het specialisme waarvoor zij vrijstellingen aanvragen. Assessoren delen deze mening met de kandidaten: 9 assessoren (75%) vinden het ook belangrijk. Op één na hebben alle kandidaten ook daadwerkelijk werkervaring in het specialisme waarvoor zij vrijstellingen aanvragen (gemiddeld 8,9 jaar; stdev. 6,9 jaar). Negen kandidaten (53%) hebben zelfs al onderdelen van de opleiding gevolgd. Zes kandidaten hebben op basis van hun portfolio en het gesprek kunnen aantonen dat zij voor het desbetreffende specialisme competent zijn en derhalve geen opleiding meer behoeven. In de EVC-procedure was hierin niet voorzien waardoor er ook geen afspraken waren hoe hiermee om te gaan. Daarvan hebben drie kandidaten een aanvraag gedaan voor erkenning op competenties uit de tweede fase M&G zonder een registratie in een bepaald profiel. Dit stuit op een aantal problemen: - Wie geeft de eindverklaring af waarmee een kandidaat zich kan laten registreren in het desbetreffende register? - Hoe verhoudt de uitkomst zich tot een EU-registratie? - Kan er zonder profielregistratie een registratie in de tweede fase M&G worden gedaan? De vragen zijn aan de stafjurist KNMG en de secretaris van de SGRC voorgelegd en vervolgens ter discussie gesteld binnen de projectgroep en de stuurgroep. Aan de hoofden van de opleidingsinstituten is deze problematiek tijdens het reguliere hoofdenoverleg voorgelegd. De vraag is gesteld of kandidaten die op alle onderdelen competent blijken te zijn rechtstreeks geregistreerd kunnen worden en hebben de opleidingsinstituten daar nog Rapportage project EVC-procedure 14

15 een rol bij (afgeven van eindverklaring)? De aanwezigen onderschrijven de opvatting dat dit besproken moet worden in de Projectgroep en de Stuurgroep. Daarnaast is de vraag gesteld of de beoordeling zodanig is dat de bestendigheid van competenties, die zichtbaar zijn gemaakt, aangenomen kunnen worden, of dat daar nog een vorm van bijvoorbeeld een beoordelingsstage voor nodig is. Zowel de projectgroep als de stuurgroep hebben geadviseerd om de desbetreffende kandidaten middels een aangepaste eindverklaring (waarin vermeld staat dat voor deze kandidaten geen opleidingsplan opgesteld kan worden) in te schrijven in het register. Voor de vaste procedure zal naar een passende structurele oplossing moeten worden gezocht. Daaraan voorafgaand zal volgens de projectgroep eerst een discussie moeten plaatsvinden in hoeverre de EVC-procedure überhaupt tot algehele vrijstelling kan c.q. mag leiden. Rapportage project EVC-procedure 15

16 Hoofdstuk 4 De EVC-procedure De EVC-procedure bestaat uit vijf fasen. In dit hoofdstuk wordt per fase een toelichting gegeven op het verloop en de uitkomst van de evaluatie. Tot slot volgen nog een aantal aanbevelingen betreffende de EVC-procedure van kandidaten en assessoren. 1. Informatie en oriëntatie De 6 aanvragende kandidaat oriënteert zich op de EVC procedure, de haalbaarheid van het portfolio dat hij moet opbouwen en de inspanning die dat kost. Er is relevante informatie beschikbaar. Kandidaten die zich aangemeld hebben, hebben de handleiding EVC-procedure ontvangen. Op 13 januari 29 is door de projectgroep een informatiebijeenkomst/workshop georganiseerd die door 13 potentiële kandidaten is bezocht. De overige kandidaten zijn op een later tijdstip persoonlijk of per telefoon/mail nader geïnformeerd. Tijdens de bijeenkomst is informatie over de EVC-procedure en het samenstellen van een portfolio gegeven. De verschillende aanwezigen hebben vervolgens per specialisme ideeën hierover kunnen uitwisselen. Een aantal belangstellenden hebben vervolgens per mail contact met elkaar onderhouden voor het uitwisselen van ideeën en tips. Tijdens de procedure hebben sommige kandidaten persoonlijk, per mail of per telefoon nadere informatie en toelichting gevraagd aan de projectleiding. De projectleiding was hiervoor beschikbaar. Op één vraag kon de projectleiding geen inhoudelijk antwoord geven. Dit is per mail aan de assessoren voorgelegd. Hun antwoord is vervolgens aan de kandidaten teruggekoppeld (betreft KBA crisismanagement M&G). Begin maart zijn de kandidaten die zich daadwerkelijk hebben ingeschreven geïnformeerd over de datum voor het inleveren van het portfolio en de data waarop de assessmentgesprekken waarschijnlijk plaats zouden gaan vinden. Evaluatie kandidaten Dertien kandidaten (77%) hebben de informatiebijeenkomst over het project bijgewoond. De meningen over deze bijeenkomst zijn erg verdeeld: een aantal kandidaten is er positief over en een aantal negatief zoals op te maken is uit de volgende ervaring: De bijeenkomst was vrij theoretisch en niet voldoende op de praktische voorbereiding gericht. Voor Verzekeringsgeneeskunde is nog een extra bijeenkomst georganiseerd, deze is door de kandidaten erg op prijs gesteld: Ik heb twee bijeenkomsten gevolgd, door ze samen te volgen kreeg ik voldoende informatie. Bij een volgende ronde kunnen deze bijeenkomsten wel in één keer worden gehouden. 6 Cursief gedrukte tekst is de letterlijke tekst afkomstig uit de EVC-procedure: Rapportage project EVC-procedure 16

17 Voor de kandidaten is een handleiding EVC-procedure opgesteld. De handleiding bleek niet voldoende tegemoet te komen aan de vragen die onder de kandidaten leefden: ruim de helft van de kandidaten (n=1; 59%) beoordeelden de handleiding als matig tot voldoende. Deze kandidaten merkten op dat men de handleiding een aantal keren moest herlezen voordat duidelijk was wat de bedoeling was, er te weinig duidelijkheid werd gegeven over het samenstellen van een portfolio en de status van de toetsmatrijs. 2. Samenstelling van het portfolio door de kandidaat De kandidaat stelt zijn portfolio samen volgens afspraak. Aan de bewijsstukken die de kandidaat inbrengt in het portfolio worden de volgende eisen gesteld: - authenticiteit: het bewijs moet representatief zijn voor de ervaring en deskundigheid van de kandidaat - actualiteit: de bewijsstukken mogen niet ouder zijn dan vijf jaar - relevantie: het bewijs moet een duidelijk relatie hebben met de kritische beroepsactiviteiten en beroepscompetenties en daarbij behorende criteria - kwantiteit: de kandidaat kan een aantal bewijzen tonen met betrekking tot een bepaald competentie gebied. - variatie: de bewijzen laten zien dat competenties zijn verworven in verschillende contexten en dat de kandidaat er op verschillende manieren aan heeft gewerkt. Wanneer dit ontoereikend is kan aanvullend bewijs worden gevraagd. De kandidaten hebben vanaf het begin van hun aanmelding de mogelijkheid gehad om hun portfolio samen te stellen. De officiële startdatum voor het samenstellen van het portfolio was begin maart 29. Kandidaten konden bij vragen een beroep doen op de projectleiding. In de laatste weken voor de inleverdatum, 15 mei 29 is hier veelvuldig gebruik van gemaakt. Het betrof met name vragen over het voorblad bij de bewijsstukken en het invullen van het selfassessment formulier. Evaluatie kandidaten Het samenstellen van het portfolio viel de kandidaten tegen: 65% van de kandidaten vond het moeilijk tot zeer moeilijk om een portfolio samen te stellen (n=11). Dit hing samen met het feit dat zij nog nooit eerder een portfolio hadden gemaakt (n=8; 57%), er onvoldoende informatie was over het samenstellen van een portfolio (n=5; 36%) en het moeilijk was om bewijsmateriaal te vinden (n=5; 36%). Tijdens de interviews is door de assessoren geconstateerd dat een aantal kandidaten wel competent waren maar niet het goede bewijsmateriaal hadden opgenomen in het portfolio. Daarom hebben deze kandidaten de mogelijkheid gekregen om (bestaand) bewijsmateriaal in tweede instantie aan assessoren Rapportage project EVC-procedure 17

18 voor te leggen. Vijf kandidaten hebben hiervan gebruik gemaakt. Dit heeft bij een aantal kandidaten geleid tot een beperkte extra toekenning van KBA s. Kandidaten vonden het samenstellen van het portfolio niet alleen moeilijk, het doorlopen van de procedure bleek hen ook veel tijd te kosten; gemiddeld hebben de kandidaten 98 uren besteed met een minimum van 1 uren en een maximum van 175 uren. Er werden door de kandidaten gemiddeld voor 11,8 KBA s vrijstellingen (minimum 5; maximum 19) aangevraagd. In de handleiding stond aangegeven dat kandidaten in het portfolio een selfassessment formulier moesten opnemen. Verder moest er per KBA een voorblad worden opgenomen waar duidelijk stond aangegeven voor welke competenties bewijsmateriaal werd aangeleverd en waar dit bewijsmateriaal te vinden was. Alle kandidaten hebben een voorblad gebruikt bij de bewijsstukken die per KBA werden opgevoerd, 2 kandidaten hebben zelfs meerdere soorten voorbladen gebruikt. Het reflectieverslag op basis van de STARR methode (Situatie; Taken; Acties; Resultaten; Transfer/Reflectie) is het meest als voorblad gebruikt (n=15, 88%), 3 kandidaten (18%) hebben de toetsmatrijzen gebruikt en 2 kandidaten (12%) hebben een eigen format ontwikkeld. Met uitzondering van één kandidaat hebben alle kandidaten een selfassessment formulier ingevuld. 3. Voorbereidende beoordeling door de assessmentcommissie De kandidaat levert het portfolio volgens afspraak in drievoud in. Hij geeft daarbij aan voor welke kritische beroepsactiviteiten of bouwstenen daarvan hij een beoordeling vraagt. Bij elk onderdeel levert de kandidaat een reflectieverslag aan waarin een onderbouwing wordt gegeven van het bewijsmateriaal (bijvoorbeeld volgens de STARR- methodiek). Wanneer de aanvraag niet conform afspraak wordt ingeleverd wordt de aanvraag niet in behandeling genomen. De assessoren bereiden zich ieder voor op het assessmentgesprek door bestudering van het portfolio in relatie tot het referentiekader van de opleiding. Daarbij betrekken ze de onder 2) genoemde eisen. Binnen negen weken nadat de kandidaat zijn portfolio heeft ingeleverd komt de commissie tot een beoordeling. Hoewel met de assessoren afgesproken was dat op bureauniveau een controle zou plaatsvinden op de compleetheid van portfolio s bleek dit in de praktijk niet haalbaar. Dit vanwege de diversiteit, hoeveelheid en tijdsdruk om de portfolio s zo snel mogelijk door te sturen naar de assessoren. Tijdens de periode waarin de portfolio s ingeleverd moesten worden is er een miscommunicatie opgetreden m.b.t. de wijze waarop portfolio s ingeleverd moesten worden. Een deel van de kandidaten heeft de stukken digitaal aangeleverd, sommigen in enkelvoud en een aantal, conform afspraak, in drievoud. Dit heeft voor een behoorlijke belasting van het bureau gezorgd. Uiteindelijk zijn alle portfolio s tijdig naar de Rapportage project EVC-procedure 18

19 assessoren verstuurd. De tijd tussen inleveren van het portfolio en het gesprek met de assessoren bedroeg maximaal drie weken. Evaluatie assessoren Gemiddeld hebben de assessoren 3,3 portfolio s beoordeeld en 3,3 kandidaten geïnterviewd, met een minimum van kandidaten en een maximum van 7 kandidaten. Eén assessor heeft alleen als gespreksleider gefunctioneerd en heeft niet de rol van assessor op zich genomen. Deze assessor kon niet onafhankelijk genoeg opereren door zijn betrokkenheid bij het project als o.a. voorzitter van de projectgroep. Bij ieder interview was een gespreksleider aanwezig, deze rol is door de assessoren vervuld. Bij gemiddeld 2,1 interviews trad de assessor als gespreksleider op. Het doornemen van een portfolio nam gemiddeld 2 dagdelen in beslag. Dit bleek voor een belangrijk deel afhankelijk te zijn van de opbouw en de indeling van het portfolio; hoe meer gestructureerd het portfolio was, hoe minder tijd het kostte om het portfolio door te nemen of zoals een assessor verwoordde: er is sprake van een zeer wisselend beeld. Het gaat dan vooral om structuur van de indeling. Een overzichtelijk geheel volgens de handleiding zorgt in ieder geval voor een prettige leesbaarheid en dan gaat geen kostbare tijd verloren in het moeten rubriceren en overzichtelijk maken van het portfolio De hoeveelheid bewijsstukken die kandidaten per KBA in hun portfolio aanleverden was volgens 7 assessoren (58%) genoeg en 5 assessoren (42%) vonden dat er teveel bewijsstukken werden aangeleverd. 4. Het assessmentgesprek Het assessmentgesprek bestaat uit een beoordelingsgesprek waarin de STARR methode (Situatie, Taak, Actie, Resultaat en Reflectie) wordt gehanteerd. Het gesprek is gebaseerd op het portfolio. De gespreksduur is afhankelijk van de omvang van de aanvraag. Eventueel vinden meerdere gesprekken plaats. Bij twijfel kan de commissie besluiten tot additionele informatie te verzamelen, bijvoorbeeld door het instellen van een site visit. Alle gesprekken binnen een specialisme zijn zoveel mogelijk op dezelfde dagen gepland. In verband met beschikbaarheid van assessoren en de hoeveelheid kandidaten zijn de gesprekken op vier afzonderlijke dagen gevoerd. De planning van voorbereiding, gesprek en nabespreking verschilde tussen Verzekeringsgeneeskunde en Bedrijfsgeneeskunde enerzijds en M&G anderzijds. M&G assessoren hebben per dag vier gesprekken gevoerd. De beide anderen maximaal 3 per dag. Voor het beoordelen van de portfolio s en het afstemmen op gesprekspunten konden assessoren gebruik maken van een rapportageformulier. Hoe zijn de Rapportage project EVC-procedure 19

20 gesprekspunten in het interview tot stand gekomen? In de voorbespreking overlegden de assessoren welke punten zij in het gesprek aan de orde wilden stellen. De keuze van punten is gebaseerd op de individuele beoordelingen van portfolio s. Dat wat beide assessoren onvoldoende vonden in het portfolio is niet besproken (en dus ook niet toegekend), daar waar beiden geen twijfels over hadden is toegekend en die punten waarover twijfels waren zijn met de kandidaat besproken. Evaluatie assessoren Voor iedere kandidaat was een gesprek van een uur ingepland, voor bijna alle assessoren (n=11; 92%) was dit voldoende tijd voor het interviewen van de kandidaten. Voorafgaand aan het interview hadden assessoren 3 kwartier de tijd om zich gezamenlijk voor te bereiden op het interview (de assessoren van M&G hadden hiervoor in hun schema een half uur gereserveerd). Zes assessoren (5%) gaven aan dit voldoende tijd te vinden, 5 andere assessoren (42%) vonden de voorbereidingstijd voor een aantal kandidaten genoeg en voor een aantal tekort. Dit bleek o.a. afhankelijk te zijn van de mate waarin assessoren zich hadden voorbereid op het interview, de hoeveelheid vragen die een portfolio bij een assessor opriep en de onderlinge discussie die het portfolio opleverde. Iedere assessor beoordeelde voorafgaand aan het interview de portfolio s van zijn/haar kandidaten. In het voorbereidingsgesprek vergeleken de assessoren hun individuele beoordeling en bepaalden op grond hiervan (waarover eens: geen vragen, waarover twijfels: doorvragen)) de gesprekspunten voor het interview. Over het tijdschema van de dagen waarop de interviews werden afgenomen waren de assessoren over het algemeen tevreden. Er werd wel opgemerkt dat vier kandidaten op 1 dag interviewen teveel van het goede was; drie kandidaten per dag lijkt beter te zijn. Tijdens de voorbereiding op het interview, de nabespreking en het opstellen van het advies konden assessoren het formulier rapportage EVC assessment gebruiken. Alle assessoren zijn tevreden over dit formulier, of zoals een assessor het verwoordde: Het formulier sluit goed aan op de praktijk en kan tevens dienen als checklist De assessoren geven aan tevreden te zijn over de organisatie van de dag zelf: er was sprake van een prettige ontvangst en goed verloop. Evaluatie kandidaten Tien kandidaten (59%) vonden het interview met de assessoren goed tot zeer goed verlopen, 6 kandidaten (35%) beoordeelde het als voldoende tot matig en 1 kandidaat (6%) als slecht. Hiervoor werden verschillende redenen gegeven: de assessoren leken matig op de hoogte te zijn van het werkgebied, één van de assessoren stelde zich denigrerend op en de vragen werden te abstract gesteld. Rapportage project EVC-procedure 2

21 De kandidaten waren tevreden over de organisatie op de dag van de interviews. Het zou wel op prijs worden gesteld als kandidaten met veel reistijd, later op de dag gepland konden worden. 5. Het resultaat van de beoordeling De assessoren informeren de kandidaat, via de projectgroep, schriftelijk over het resultaat van de beoordeling. Deze bewaart dit in zijn portfolio. Na het gesprek met de kandidaat zou een eerste terugkoppeling plaatsvinden. De terugkoppeling aan de kandidaat direct na het gesprek is niet uitgevoerd. De assessoren hadden behoefte om eerst meer ervaring op te doen (vergelijkingsmateriaal). In verband met draagvlak en acceptatie van de beoordeling is de kandidaten de mogelijkheid geboden om op een later tijdstip een toelichting van de assessoren te vragen. Voor Bedrijfsgeneeskunde en M&G is hiervoor een avond georganiseerd. Vijf kandidaten hebben van deze avond gebruik gemaakt. Voor Verzekeringsgeneeskunde was dit met de assessoren agendatechnisch niet te realiseren. Daarom hebben deze kandidaten de mogelijkheid gekregen van een (telefonische) terugkoppeling. Tot op heden hebben 2 kandidaten hiervan gebruik gemaakt. De assessoren maakten volgens een vastgesteld format de rapportage. Deze zijn naar de kandidaten verstuurd. Per mail is de uitslag eveneens kenbaar gemaakt. Met de rapportage kunnen kandidaten naar een opleidingsinstituut voor bespreking van hun individuele opleidingsplan. Evaluatie assessoren Uit de resultaten blijkt dat de opgestelde toetsmatriizen praktisch bruikbaar zijn, slechts 1 assessor was het hier niet mee eens. Op basis van de portfolio s konden bijna alle assessoren (n=1; 83%) zich een goed (individueel) oordeel vormen over de KBA s waarvoor de kandidaten vrijstellingen vroegen, twee assessoren (17%) hadden hier meer moeite mee. Na het lezen van de portfolio s zijn de kandidaten geïnterviewd. Het beeld wat de assessoren zich op basis van het portfolio hadden gevormd veranderde slechts een enkele keer door het interview met de kandidaat. De in de training geleerde STARR methodiek vond de meerderheid van de assessoren (n=8; 67%) tijdens het interview goed bruikbaar. Alle assessoren vonden dat zij zich op basis van de toetsinstrumenten een oordeel konden vormen over de competenties van de kandidaten en een advies voor de kandidaat konden formuleren. Vier assessoren (33%) hadden voor een aantal kandidaten genoeg aan het portfolio om tot een beoordeling te komen; zeven assessoren (58%) vonden zowel het interview als het portfolio noodzakelijk om tot een beoordeling van de KBA s te kunnen komen en één assessor (8%) ging voor de beoordeling vooral uit van het interview. Rapportage project EVC-procedure 21

22 Nadat de assessoren ervaring hadden opgedaan met de procedure gaven zes assessoren (5%) er de voorkeur aan het afsluitende gesprek met de kandidaat te laten plaatsvinden na het interview, 2 assessoren (17%) zouden dit liever doen nadat de kandidaten hun advies hebben ontvangen en 4 assessoren (33%) stellen voor dit alleen te doen wanneer kandidaten daar behoefte aan hebben. Voor de betrouwbaarheid van de assessments is het belangrijk dat assessoren het met elkaar eens zijn in hun beoordeling. Assessoren hebben individueel de portfolio s beoordeeld en in duo s het interview voorbereid en gevoerd. De helft van de assessoren had altijd overeenstemming met de collega assessor over de verworven competenties van de kandidaten, de andere helft had meestal overeenstemming met de collega assessor. Helaas is tijdens de evaluatie niet ingegaan op de mate van overeenkomst en verschillen tussen de assessoren in beoordelen van de portfolio s en het vervolgens bepalen van de gesprekspunten. Uit de stellingen van de assessoren blijkt dat na afloop van de assessments de assessoren meer vertrouwen hebben in het ontwikkelde instrumentarium en in zichzelf als assessor dan aan het begin van het project (zie Bijlage 5). De assessoren hebben gedurende het project meer vertrouwen gekregen in hun nieuwe rol als assessor. Net na de training had een enkeling nog twijfels over het ontwikkelde instrumentarium; na afloop van de assessments vinden alle assessoren het instrumentarium valide, hanteerbaar in de praktijk en zijn zij ermee in staat de competenties van kandidaten te beoordelen. Bij de stellingen is ook gevraagd of assessoren vinden dat een gedragsproef met een simulatiepatiënt of een kennistoets moet worden toegevoegd aan het instrumentarium. Zes assessoren (5%) vinden het niet nodig een gedragsproef op te nemen, 3 assessoren (25%) vinden het wel een goed idee en 3 assessoren hebben geen mening. Voor de kennistoets geldt dat 6 assessoren (5%) het wel goed vinden deze op te nemen in het instrumentarium, 4 assessoren (33%) het niet nodig vinden en 2 assessoren (17%) geen mening hebben. Evaluatie kandidaten De 13 kandidaten, waarvan de uitslag van het assessment bekend was bij het schrijven van het rapport, hebben gemiddeld 9,9 KBA s toegewezen gekregen. Bij 6 kandidaten zijn alle aangevraagde vrijstellingen ook daadwerkelijk verleend, 7 kandidaten hebben minder dan de aangevraagde vrijstellingen toegekend gekregen. Gemiddeld zijn er 2,15 KBA s afgewezen. In het overzicht met de kandidaten is dit per kandidaat uitgewerkt. Elf kandidaten (85%) zijn tevreden tot zeer tevreden over het advies. ik ben blij dat al mijn werkervaring en eerdere opleidingen gewaardeerd zijn zoals ik ze zelf ook heb gewaardeerd. Het geeft mij een goede tweede kans in een leuk werkgebied. Rapportage project EVC-procedure 22

23 Twee kandidaten (15%) zijn zeer ontevreden Deze kandidaten hebben niet met hun bewijsstukken kunnen aantonen de KBA s te beheersen, terwijl zij wel vinden dat zij competent zijn. Acht kandidaten (47%) pleiten voor een gesprek met de assessoren nadat de kandidaten het advies hebben ontvangen, 6 kandidaten (35%) geven er de voorkeur aan om direct na het interview, nadat assessoren even hebben kunnen overleggen, een afsluitend gesprek met de assessoren te houden. Drie kandidaten hebben hierover een andere mening. Een kandidaat zegt hierover: Het meest neutrale moment lijkt mij tussen gesprek en advies in. Een toegevoegde waarde van het gesprek na het advies is dat een toelichting gegeven kan worden op de gegeven adviezen. Ook de kandidaten hebben, net als de assessoren, stellingen voorgelegd gekregen. Over het algemeen zijn de kandidaten tevreden over de gehanteerde instrumenten (n=9; 6%), menen zij dat op basis van een portfolio een EVC-advies geformuleerd kan worden (n=12; 8%), vinden zij het toetsinstrumentarium valide (n=9; 6%) en hebben zij met het portfolio en tijdens het interview hun competenties kunnen laten zien 11 (73%). Negen kandidaten (6%) zijn negatief over het toevoegen van een gedragsproef aan het instrumentarium en 8 kandidaten (53%) zijn negatief over het toevoegen van een kennisproef. 6. Geschil: In het geval er een geschil bestaat kan de aanvrager in beroep gaan bij de desbetreffende wetenschappelijke vereniging. Zij stellen een geschillencommissie in die de procedure en de beoordeling beoordeelt. Wanneer de aios de opleiding reeds is gestart kan hij/zij gebruik maken van de bestaande geschillenprocedure. Op basis van de rapportage en het verloop van het assessmentgesprek heeft 1 kandidaat aangegeven het niet eens te zijn met de uitkomst van het assessment en wil hiertegen in beroep gaan. Er heeft onder voorzitterschap van een onafhankelijke assessor een gesprek met de assessoren en de kandidaat plaatsgevonden. Dit gesprek is voor alle partijen bevredigend verlopen. De kandidaat heeft d mogelijkheid gekregen om alsnog ontbrekend bewijsmateriaal aan te leveren. De uitkomst hiervan is op dit moment nog niet bekend. Tips en adviezen van kandidaten en assessoren Kandidaten is gevraagd welke adviezen zij hebben voor toekomstige kandidaten aan de EVCprocedure. Hieronder volgt een opsomming: Rapportage project EVC-procedure 23

24 - Neem voldoende tijd voor het samenstellen van een portfolio (tijdig beginnen). Het terugvinden van geschikt materiaal kost erg veel tijd. Door de pilot was er minder tijd beschikbaar voor de kandidaten - Ga bij het aanleveren van bewijsstukken niet uit van KBA s, maar plaats bewijsstukken bij de KBA s. Vaak kan dan één bewijsstuk dienen voor meerdere KBA s. - Overleg met medekandidaten ( zoek een maatje ) voor keuze van onderwerpen en selectie van mogelijk aan te voeren bewijsstukken. - Wees je bij het samenstellen van het portfolio ervan bewust dat een assessor beperkte tijd heeft voor het beoordelen ervan en dat een goede beschrijving en bewegwijzering de assessor erg helpt. - Ben je ervan bewust dat je getoetst wordt en dat dit een zekere stress met zich meebrengt. Aan de assessoren is gevraagd of zij nog iets aan de procedure zouden willen veranderen. Bijna alle assessoren pleitten ervoor om alleen portfolio s in behandeling te nemen die aan de eisen voldoen (overzichtelijk, met tabblaadjes). Eén assessor opperde het idee om een verplichte Multi Source Feedback op te laten nemen in het portfolio. Een aantal assessoren gaven aan iets meer voorbereidingstijd in het schema te willen opnemen. Aan zowel assessoren als kandidaten is gevraagd wat in hun ogen een redelijk bedrag is om aan deelnemers te vragen. Uit de enquête blijkt dat de assessoren een bedrag tussen 1.,= en 2.,= redelijk vinden. De deelnemers hebben er minder geld voor over namelijk minder dan 1.,=. Het is de vraag of dit een reëel bedrag is, met andere woorden kunnen de kosten voor de procedure hiermee daadwerkelijk gedekt worden? Op basis van de pilot kan geconcludeerd worden dat de investering van assessoren in tijd dusdanig veel is dat de kosten van een traject minimaal 2.5 zal moeten bedragen. Een en ander zal gestaffeld kunnen plaatsvinden op basis van een soort trechter: hoe verder in de procedure (dus hoe meer c.q. kostbaardere toetsen en beoordelingen plaatsvinden) hoe duurder. De procedure zal minimaal kostendekkend moeten zijn maar bij voorkeur meer. In de toekomst zal namelijk geïnvesteerd moeten worden in onderhoud van de procedure, communicatie, verbeteren instrumenten, kwaliteitsborging en uitbreiding van de pool assessoren. Rapportage project EVC-procedure 24

25 Hoofdstuk 5 Conclusies en aanbevelingen In dit hoofdstuk wordt op basis van voorafgaande hoofdstukken de conclusies per onderdeel beschreven en geven de project- en stuurgroep haar aanbevelingen. 1. Conclusies m.b.t. assessoren en toetsinstrumenten Aan kandidaat assessoren werden een aantal eisen gesteld waaronder recente opleidingservaring. Een aantal potentiële assessoren bleek niet te voldoen aan dit criterium. Toch is door projectgroep en stuurgroep besloten hen te trainen als assessor. Uit de evaluatie blijkt dit geen bezwaar te zijn, want alle assessoren zijn voldoende in staat geweest om als assessor op te treden. De training is goed geëvalueerd en gaf voldoende handvatten voor het beoordelen van portfolio s en de interviews. De assessoren zijn daarmee in voldoende mate voorbereid op de uitvoering van de assessments. De tijdsinvestering is voor assessoren hoger uitgevallen dan verwacht. Hier kan in de toekomst beter op worden geanticipeerd, zowel in de tegemoetkoming in kosten als in de tijdsplanning. De tijdsinvestering mbt het ontwikkelen van toetsinstrumenten zullen minder gelden daar deze ontwikkeld zijn. Wel zullen deze op basis van ontwikkeling bijgesteld moeten worden. Zowel de assessoren als de kandidaten zijn positief over de gehanteerde toetsinstrumenten en hebben vertrouwen in de betrouwbaarheid en validiteit ervan. Aanbevelingen m.b.t. assessoren en toetsinstrumenten Het opleiderschap kan volgens de projectgroep op basis van de uitkomst van de pilot als criterium worden losgelaten. De projectgroep adviseert om in verband met de borging van de kwaliteit van assessoren een register aan te leggen en daaraan eisen te koppelen als competent zijn en blijven (certificering). Belangrijke kwaliteitseisen zijn concrete werkervaring, know how van de betreffende opleiding en adequate scholing in het verrichten van assessments. Naast het uiteraard hebben van onbesproken gedrag. De assessoren en de projectgroep zijn van mening dat een uitbreiding van toetsinstrumenten moet plaatsvinden. Hierbij wordt gedacht aan het toevoegen van een kennistoets, vaardigheidstoets (afhankelijk KBA), observaties, etc.. Wanneer andere specialismen gebruik gaan maken van de EVC-procedure zullen deze laatste twee mogelijk belangrijker zijn (meer gericht op observatie van handelen c.q. vaardigheden). Aansluiting bij technieken waarmee door andere specialismen beoordeeld wordt is daarom aan te bevelen. Verder willen de assessoren en de projectgroep Multi Source Feedback (MSF) als verplicht onderdeel opnemen in het portfolio. Dit is met name van belang bij KBA s waarin een mening van derden een belangrijke toegevoegde waarde heeft (dit betreffen de competenties communicatie, samenwerking en de KBA leidinggeven). Rapportage project EVC-procedure 25