Technische toelichting Onderwijsresultaten Bekostigd MBO (en VAVO)

Transcriptie

1 Technische toelichting Onderwijsresultaten Bekostigd MBO (en VAVO) Deze toelichting hoort bij de standaard Onderwijsresultaten voor het Bekostigd MBO zoals beschreven in het Onderzoekskader mbo 2017, bijlage 1 (Staatscourant 2017, nr. 5924). Inleiding Deze notitie bevat informatie over de wijze waarop wij omgaan met de berekening en beoordeling van de onderwijsresultaten. Om actueel te zijn gaan we steeds uit van de nieuwste, vanuit Bron vastgestelde, onderwijsresultaatbestanden. Ieder voorjaar komt er een moment waarop in definitieve rapporten de onderwijsresultaten van een volgend teljaar worden gebruikt. Dat is in de regel op 1 mei. Wanneer we van deze datum afwijken, communiceren we daar over. Als de rapporten vóór 1 mei als concept aan de instelling zijn verstuurd, hanteren we bij vaststelling van de definitieve rapporten ná 1 mei alsnog de nieuwste onderwijsresultaten. Bij eventuele verandering van het oordeel in deze situatie nemen we telefonisch contact op met de instelling. De oordelen in onze rapporten zijn daardoor gebaseerd op de meest actuele gegevens. 1 Beoordelende indicatoren studiesucces Bij MBO-opleidingen op niveau 2, 3 en 4 wordt de standaard Studiesucces beoordeeld aan de hand van drie indicatoren: jaarresultaat, diplomaresultaat en startersresultaat. Hier volgen de definities van deze drie indicatoren. 1.1 Jaarresultaat (JR) en diplomaresultaat (DR) Bij het jaar- en diplomaresultaat vormen de in het mbo behaalde diploma s het uitgangspunt. Jaarresultaat Het jaarresultaat over schooljaar t (bijv. het schooljaar ) drukt het percentage gediplomeerde studenten uit van een cursusjaar t.o.v. alle instellingsverlaters en gediplomeerde doorstromers. Het diploma moet behaald zijn in schooljaar t. De formule luidt: Jaarresultaat schooljaar t aantal gediplomeerden in schooljaar t x 100 aantal gediplomeerden schl.jr. t + aantal ongediplomeerde instellingsverlaters sch.ljr. t Diplomaresultaat Het diplomaresultaat drukt het percentage gediplomeerde instellingsverlaters uit t.o.v. alle instellingsverlaters in een cursusjaar. Eerder behaalde diploma s tellen ook mee. De formule luidt: Diplomaresultaat schooljaar t aantal gediplomeerde instellingsverlaters schooljaar t x 100 aantal gediplomeerde en ongediplomeerde instellingsverlaters schl.jr. t Externe toelichting onderwijsresultaten, juli 2018 Pagina 1 van 8 Bekostigd mbo

2 Voor het beoordelen of een opleiding voldoet aan de normen, worden het jaar- en diplomaresultaat over drie jaar bekeken. Daarvoor worden de cijfers over drie jaar samengenomen. Een driejaarscijfer geeft minder schommelingen. 1.2 Startersresultaat Het startersresultaat vormt het omgekeerde van eerstejaarsuitval. Het startersresultaat is het aandeel van de nieuwe instromers in de instelling dat een jaar later nog studeert bij de eigen instelling of is uitgestroomd met een diploma behaald in het eerste jaar op de instelling. Startersresultaat jaar t aantal gediplomeerde instellingsverlaters van de nieuwe instromers + aantal in de instelling gebleven studenten van de nieuwe instromers x 100 nieuwe instromers in de instelling jaar t De starters die in het eerste jaar de instelling ongediplomeerd verlaten, worden beschouwd als niet-succesvol. Het startersresultaat wordt toegeschreven aan de opleiding waar de student op 1 oktober stond ingeschreven. Het startersresultaat is berekend over alle starters gedurende de afgelopen drie jaar. Daarmee wordt het startersresultaat een driejaarscijfer. De betrouwbaarheid van een cijfer dat over drie cohorten is berekend is hoger, dan wanneer het cijfer op één cohort betrekking zou hebben. Driejaarscijfers van opleidingen worden alleen berekend als er tenminste over twee jaren starters in de opleiding zitten waaronder tenminste in het laatste jaar. Startersresultaat (SR) over drie jaar (SR jaar 1 * aantal starters jaar 1) + (SR jaar 2 * aantal starters) + (SR jaar 3 * aantal starters) x 100 aantal starters jaar Verschillende populaties Let op: het startersresultaat wordt bepaald op de instroompopulatie, terwijl het jaar- en diplomaresultaat worden bepaald op de uitstroompopulatie. Voor het jaarresultaat worden ook gediplomeerde doorstromers en zij-instromers (na 1-10 binnengekomen) meegeteld. Door deze populatieverschillen alsmede door het driejaarscijfer kan het voorkomen dat er voor een opleiding wel het SR is berekend, maar geen JR. Het kan zijn dat een opleiding waar twee jaar geleden nog studenten in zaten, beëindigd is. Ook is het mogelijk dat de studenten na een eerste jaar allen doorgestroomd zijn naar een ander KD of dat de behaalde diploma s van studenten onder een ander KD vallen. 1.4 Beoordeling op het niveau van de beroepsopleiding Het mbo kent een veelheid aan kwalificaties die op verschillende niveaus worden geclusterd in de koppeltabel. Deze koppeltabel is gebaseerd op de Herziene kwalificatiestructuur (HKS), maar bevat naast de indeling van de HKS ook oude opleidingen. In de structuur van de koppeltabel zijn verwante opleidingen ondergebracht in hoofdgroepen (vergelijkbaar met domeinen uit de HKS, subgroepen (niet aanwezig in HKS), beroepsopleidingen (vergelijkbaar met kwalificatiedossiers uit HKS) en beroepen (vergelijkbaar met kwalificaties uit HKS). In figuur 1 zijn de drie lagen van de HKS uitgebreid met de laag van de subgroepen uit de koppeltabel. Dit zijn de aggregatieniveaus die van belang zouden kunnen zijn in het toezicht. Pagina 2 van 8

3 Figuur 1 Boomdiagram van de herziene kwalificatiestructuur De berekening voor het studiesucces van de inspectie is gebaseerd op de beroepsopleiding uit de koppeltabel die vergelijkbaar is met een kwalificatiedossier uit de HKS (te herkennen aan de bccode) en uitgesplitst naar opleidingsniveau. 1.5 Normen voor de beoordeling van de standaard studiesucces Voor de beoordeling van de standaard Studiesucces gelden absolute normen die voor een periode van vier jaar zijn vastgesteld. Per niveau verschillen de normen. Tabel 1.1. Normen voor voldoende, in percentages Indicator Opleidingsniveau Jaarresultaat Diplomaresultaat Startersresultaat Per indicator (apart voor JR, DR en SR) wordt bekeken of er in de noemer tenminste twaalf studenten zitten. Ook wordt gekeken of het jaar- en diplomaresultaat geen 0 of 100 is. Indien één van deze gevallen aan de orde is of als er indicatoren ontbreken, is het mogelijk dat het oordeel niet te bepalen is. Wanneer er wel twaalf of meer studenten deel uitmaken van de noemers en het jaar- en diplomaresultaat geen 0 of 100 zijn, kan worden bekeken of de indicator aan de norm voldoet. Wanneer er tenminste twee indicatoren op of boven de bijpassende norm uitkomen, voldoen de onderwijsresultaten voor de standaard Studiesucces. Voor de waardering van hoge onderwijsresultaten zijn er hogere normen vastgesteld voor het jaaren diplomaresultaat (op basis van P80). Pagina 3 van 8

4 Tabel 1.2. Normen voor hoog, in percentages Indicator Opleidingsniveau Jaarresultaat Diplomaresultaat De oordeelsvorming op het niveau van de opleiding (bc-code x niveau) op basis van de drie genormeerde indicatoren leidt tot een van de volgende oordelen. Tabel 1.3. Beoordelingsregels standaard Studiesucces niveau 2, 3 en 4 Studiesucces Hoog Voldoende Onvoldoende Norm De opleiding voldoet aan de norm voor voldoende van alle drie de indicatoren en voor het niveau van JR en DR geldt dat beide gelijk of beter zijn dan de normen voor hoog De opleiding voldoet aan de norm voor voldoende als tenminste twee van de drie indicatoren voldoen De opleiding voldoet niet als slechts één of geen van de drie indicatoren aan de norm voor voldoende voldoet De beoordeling wordt altijd door de inspecteur vastgesteld. In bijzondere situaties (zulks ter beoordeling van de inspecteur) kan de inspecteur afwijken van de regels. 2 Beschrijvende indicatoren: plaatsing, opstroom en passend diploma Naast de drie beoordelende indicatoren (JR, DR en SR) kijkt de inspectie ook naar een drietal beschrijvende indicatoren waarmee het beeld van de onderwijsresultaten van een kwalificatiedossier of de instelling als geheel rijker wordt. Mogelijk geeft dit aanwijzingen voor het leggen van relaties met het onderwijsproces of een verklaring voor tegenvallende resultaten. Voor deze indicatoren gelden geen normen, maar om ze betekenis te geven worden landelijke gemiddelden van vergelijkbare (clusters van) opleidingen gepresenteerd. 2.1 Plaatsing Deze indicator geeft aan of de plaatsing van de starters op een mbo-niveau in het eerste jaar overeenkomt met wat passend wordt geacht op basis van de vooropleiding. Er zijn drie mogelijkheden: - plaatsing op niveau; - plaatsing onder niveau; - plaatsing boven niveau. Er wordt uitgegaan van een cognitieve ladder van vo- en mbo-opleidingen. De keuze voor de plaatsingscategorieën is als volgt gemaakt: Pagina 4 van 8

5 Tabel 2.1. Plaatsing per vooropleidingscategorie Vooropleidingscategorie op niveau opmerking 0 Onbekend niv 2 bovenplaatsing niet mogelijk 1 Praktijkonderwijs niv 1 onderplaatsing niet mogelijk 2 geen vmbo-diploma niv 1 onderplaatsing niet mogelijk 3 havo/vwo zonder diploma niv 4 bovenplaatsing niet mogelijk 5 vmbo-basis of vm2 niv 2 6 vmbo-kader niv 3 7 vmbo-g niv 4 bovenplaatsing niet mogelijk 8 vmbo-t niv 4 bovenplaatsing niet mogelijk 9 havo/vwo met diploma niv 4 bovenplaatsing niet mogelijk 11 mbo-1 diploma niv 2 12 mbo-2 diploma niv 3 13 mbo-3 diploma niv 4 14 mbo-4 diploma niv 4 bovenplaatsing is niet mogelijk. Van mbo-4 naar mbo-4 is plaatsing op niveau 27+ of vbo-diploma niv 2 Plaatsing wordt bij dezelfde populatie berekend als het startersresultaat. Alle studenten met een inschrijving op 1 oktober aan het begin van het cursusjaar tellen mee in de noemer. De studenten die ingeschreven staan op of boven het niveau dat passend wordt geacht voor de vooropleiding, tellen mee in de teller. Plaatsing jaar t aantal nieuwe instromers ingeschreven in niveau op of boven passend in jr t x 100 nieuwe instromers in de instelling in jr t 2.2 Opstroom Deze indicator geeft het percentage opstromers binnen de instelling weer. Er is sprake van opstroom wanneer een student het volgende jaar op een hoger mbo-niveau staat ingeschreven in de instelling, dan waar hij/zij het voorgaande jaar stond ingeschreven. Studenten die al ingeschreven staan in niveau 4 kunnen niet opstromen en tellen niet mee. Opstroom wordt berekend over de doorstroompopulatie. Met andere woorden, alle studenten uit niveau 2 en 3 met een inschrijving op 1-10 binnen de eigen instelling tellen mee in de noemer van deze indicator. De studenten die doorstromen naar een hoger niveau vormen de teller van de indicator voor opstroom. Opstroom in jaar t aantal studenten op 1-10 t met hoger niveau dan op t x 100 aantal studenten niveau 2 en 3 in de instelling op 1-10 t-1 Pagina 5 van 8

6 2.3 Passend diploma Anders dan bij het jaar- en diplomaresultaat wordt bij passend diploma de hoogte van het diplomaniveau beschouwd. Met passend diploma wordt een relatie gelegd tussen het beginniveau van de student en het diplomaniveau. De interesse gaat uit naar de vraag welk aandeel van de studenten die uit de instelling stromen een diploma haalt waarvan het niveau passend wordt geacht voor de eerder behaalde vooropleiding. De populatie voor passend diploma is dezelfde als die voor het diplomaresultaat. Het gaat om studenten die op 1-10-t-1 stonden ingeschreven en op 1-10-t niet meer. Zij-instromers vallen niet onder de populatie. Door deze definitie ligt de score voor de indicator passend diploma in principe altijd onder die van het diplomaresultaat. De indicator diplomaresultaat is tevreden met ieder behaald diploma, bij passend diploma moet het behaalde diploma bij het verlaten van de instelling van voldoende niveau zijn. Voor deze indicator is bepaald welk niveau van een leerling passend is gegeven de vooropleiding. Net als bij plaatsing zijn er drie mogelijkheden: - diploma op niveau; - diploma onder niveau; - diploma boven niveau. De keuze voor de drie categorieën van het diploma is als volgt gemaakt: Tabel 2.2. Indeling verwachte diplomahoogte per vooropleidingscategorie voor passend diploma vooropleidingscategorie Diplomahoogte op niveau boven niveau onder niveau 0 Onbekend Praktijkonderwijs 1 >1-2 geen vmbo-diploma 2 > havo/vwo zonder diploma 4 - < 4 5 vmbo-basis of vm2 2 > vmbo-kader 3 > 3 < 3 7 vmbo-g 4 - < 4 8 Vmbo-t 4 - < 4 9 havo/vwo met diploma 4 - < 4 11 mbo-1 diploma 2 > mbo-2 diploma 3 > 3 < 3 13 mbo-3 diploma 4 - < 4 14 mbo-4 diploma 4 - < of vbo-diploma 2 > 2 1 Voor de groep die nog geen vmbo-diploma heeft, gelden afwijkende indelingen tussen plaatsing en passend diploma. Bij plaatsing is niveau 1 voldoende voor op niveau. Het gaat immers om een eerste plaatsing en de student stroomt nog niet uit. Passend diploma wordt bepaald bij uitstroom. Daarom is daarvoor niveau 2 (een startkwalificatie) de vereiste voor op niveau. Er zijn drie mogelijke toekenningen. De eerste toekenning houdt in dat het niveau van het diploma lager ligt dan verwacht wordt gegeven het beginniveau. Ook het uitstromen zonder diploma geldt als lager dan verwacht. De tweede toekenning betreft het diploma dat volgens de verwachting op niveau ligt. Bij de derde toekenning ligt het niveau van het diploma hoger dan de verwachting. Pagina 6 van 8

7 Passend diploma schooljaar t aantal uitgestroomde studenten schooljaar t met diploma op of hoger verwacht niveau x 100 aantal gediplomeerde en ongediplomeerde instellingsverlaters jaar t 2.4 Benchmarks: landelijke percentages Per opleiding worden landelijke cijfers berekend voor de beschrijvende indicatoren plaatsing, opstroom en passend diploma. Het landelijke beeld geeft de indicator weer van dezelfde opleiding maar dan over drie jaar berekend over alle instellingen die deze opleiding aanbieden. We noemen dit de landelijke soortgenoot. Landelijke soortgenoten worden ook berekend op het niveau van de subgroep en het domein. Gezamenlijk vervullen ze een diagnostische functie. Indien er opvallende patronen zijn in de beschrijvende indicatoren ten opzichte van soortgenoten, kan dit een aanknopingspunt vormen voor gesprek tussen de inspecteur en het bestuur. 3 Entreeopleidingen Met ingang van schooljaar 2014/2015 is de entreeopleiding in het mbo gestart. De entreeopleiding (niveau 1) is er voor studenten zonder een diploma van een vooropleiding (inclusief praktijkonderwijs). Deze opleiding bereidt studenten voor op de arbeidsmarkt of op doorstroom naar een mbo-2-opleiding. De inspectie van het beoordeelt de opbrengsten van Entreeopleidingen anders dan de opleidingen op de mbo-niveaus 2 tot en met 4. Op instellingsniveau bekijkt de inspectie wat het rendement is van de Entreeopleidingen. De inspectie berekent hoeveel van de ingeschreven studenten op niveau 1 in een diploma behalen en/of doorstromen naar het volgende cursusjaar. Ook maakt de inspectie op instellingsniveau inzichtelijk hoeveel studenten van de entreeopleidingen ongediplomeerd de instelling hebben verlaten. De inspectie vergelijkt deze uitkomsten met het landelijke beeld van alle studenten die in het mbo staan ingeschreven in de entree-opleiding. Relatief grote afwijkingen t.o.v. het landelijke beeld vormen een aangrijpingspunt voor gesprek. Er zijn voor de Entree-opleiding driejaarcijfers berekend. De landelijke gemiddelden zijn ook over drie jaar berekend. Rendement entree-opleiding schooljaar t aantal studenten dat na schooljaar t in instelling is gebleven of uitgestroomd met diploma x 100 aantal ingeschreven studenten in Entree-opleiding in schooljaar t Naast het halen van een diploma of het verder studeren aan het beroepsonderwijs beschouwt de inspectie ook de uitstroom naar werk als een positief resultaat ook in het geval de student geen diploma haalt. Daarnaast wil de inspectie inzicht hebben in het aantal studenten dat een negatief bindend studieadvies (BSA) heeft gekregen. Daarmee heeft een instelling aangegeven dat een student niet leerbaar is en dus uitvalt. Deze beide gegevens worden opgevraagd bij de instelling, omdat die niet in de Basisregistratie Onderwijs(Bron) aanwezig zijn. Hierdoor kan de waardering van de indicator hoger uitvallen. De onderwijsresultaten van de entreeopleidingen worden niet aan de hand van een nom beoordeeld. Pagina 7 van 8

8 4 Overige educatie De opbrengsten van Educatie stellen we, indien van toepassing, aan de orde in het gesprek met het bevoegd gezag over risico s. We verwachten van de instellingen dat zij zelf de resultaten en mogelijke risico s in beeld hebben en daarop sturen. De conclusies worden betrokken bij het oordeel over het niveau van de kwaliteitsborging van de instelling. Vanaf augustus 2017 brengen we geen resultaten meer in beeld en vindt ook geen beoordeling van onderwijsresultaten plaats. Dit gebied maakt namelijk geen onderdeel uit van het waarderingskader overige educatie. 5 VAVO Vanaf 2012 betrekken we de opbrengsten van bekostigd en niet-bekostigd VAVO bij het toezicht. We maken voor de beoordeling van de resultaten geen onderscheid tussen bekostigde en nietbekostigde instellingen. Vanwege de doorgroei van het Onderwijsnummer zijn meer gegevens beschikbaar en hebben we onderzocht of aanpassingen en aanvullingen in de indicatoren mogelijk zijn. Bij de berekening gaan we uit van driejaarsgemiddelden. We hanteren de volgende normen: - Voor verschil SE-CE mag het verschil niet meer bedragen dan 0,5 punt (wanneer geldt dat het schoolexamen over drie jaar gemiddeld meer dan een half punt hoger is dan het centraal examen, dan spreken we van een groot verschil). EN - Voor CE geldt de absolute norm van 6,0 OF - Het percentage voldoende vakken is 65% of hoger. We passen deze normen gedurende drie jaren toe en evalueren tussentijds jaarlijks met het werkveld. Deze evaluatie kan leiden tot tussentijdse bijstelling 6 Nadere technische toelichting Onderwijsinstellingen kunnen in hun internetschooldossier een nadere technische toelichting raadplegen. Pagina 8 van 8