WERKGROEP VRAGENLIJST NSE 2017

Transcriptie

1 RAPPORT WERKGROEP VRAGENLIJST NSE 2017 Een onderbouwing van de voorgestelde wijzigingen. VERSIE 10.0 Datum:

2 INHOUDSOPGAVE Inleiding... 5 Samenvatting... 7 Hoofdstuk 1. Aanleiding en werkwijze... 8 Hoofdstuk 2. Uitgangspunten bij het beoordelen van voorstellen voor wijzigingen Hoofdstuk 3. Eerste concept NSE vragenlijst De algemene opmerkingen Lengte Behoefte aan specifieke vragenlijsten voor verschillende doelgroepen Modulair onderwijs Achtergrondkernmerken Accreditatiekader Item interpretatie Routing en Niet van toepassing Opmerkingen over vragen uit de NSE vragenlijst Achtergrondkenmerken NSE vragenlijst Algemene oordelen (V14 en 15) Inhoud en opzet van het onderwijs (V16) Algemene vaardigheden (V17) Verworven wetenschappelijke vaardigheden WO (V18) Verworven vaardigheden praktijk gericht onderzoek HBO (V18) Voorbereiding beroepsloopbaan (V19) Docenten aan de opleiding (V20) Studiebegeleiding (V21) Toetsing en beoordelen (V22) Informatie vanuit de opleiding (V23) Studieroosters (V24) Studielast (V25) Contacttijd (V26) Groepsgrootte (V27) Stage (V28) Studiefaciliteiten (V29)

3 Kwaliteitszorg (V30) Overige faciliteiten en studieomgeving (31) Woonsituatie (V32) Handicap en studie (V33 40) Internationale studenten V41) Ultimate question (V42) Wensen / ideeën voor verbetering (V43) Hoofdstuk 4: nieuwe onderwerpen in de NSE Student Engagement Validatie Internationalisering Hoofdstuk 5: Overige aanpassingen: Handicap en Studie, Routing afstands, deeltijd, duaal Aanpassingen duaal, deeltijd en afstandsonderwijs Studiejaar (V9) Toelating (V13) Algemene oordelen (V14 en 15) Algemene vaardigheden (V17) Voorbereiding beroepsloopbaan (V19) Docenten aan de opleiding (V20) Studiebegeleiding (V21) Informatie vanuit de opleiding (V23) Studielast (V25) Stage (V28) Studiefaciliteiten (V29) Handicap en studie (V33 40) Studeren met een functiebeperking, aandoening of ziekte Hoofdstuk 6: eindvoorstel NSE Is de vragenlijst langer of korter worden? Voorstel toevoegen: A) Nieuwe items B) Nieuwe vragenblokken Voorstel verwijderen: A) Items B) Vragenblokken Bijlage 1. Opdracht van het bestuur Studiekeuze Bijlage 2. Samenstelling werkgroep NSE vragenlijst

4 Bijlage 3. Samenstelling klankbordgroep NSE vragenlijst Bijlage 4. Data analyse Sixtat Bijlage 5. Studentenmonitor Bijlage 6. Eerste conceptvragenlijst NSE 2017 Bijlage 7. Eerste validatie Bijlage 8. Reactie op voorstel van universiteiten, hogescholen, studenten Bijlage 9. Tweede conceptvragenlijst 2017 Bijlage 10. Tweede validatie Bijlage 11. Eindvoorstel NSE vragenlijst

5 INLEIDING In dit rapport presenteert de werkgroep zijn advies aan het bestuur voor aanpassing van de vragenlijst NSE Vanuit de instellingen en de studentenorganisaties waren verschillende voorstellen tot aanpassing bij Studiekeuze123 binnen gekomen. Het bestuur van Studiekeuze 123 heeft besloten een beperkte opdracht (zie bijlage 1) aan een werkgroep mee te geven om deze voorstellen te beoordelen en om eventueel zelf extra aanpassingen te doen naar aanleiding van ontwikkelingen in het onderwijs of de maatschappij. De werkgroep heeft in drie stappen gewerkt. Eerst is een conceptvragenlijst ontwikkeld. Deze is bij een panel van circa 500 studenten afgenomen en ter beoordeling voorgelegd aan de instellingen en studentenorganisaties. Op basis hiervan heeft de werkgroep een tweede voorstel opgesteld. Deze is voorgelegd aan de VSNU, VH, NRTO, ISO en LSVb. Bovendien heeft er een tweede test plaatsgevonden onder een studentenpanel. Hieruit is een eindvoorstel gedaan. De wijzigingen zijn doorgaans van beperkte aard. Ingrijpender is dat enkele vragenblokken zijn verwijderd omdat die informatie inmiddels op diverse websites gemakkelijk voor studiekiezers beschikbaar is. Naar het oordeel van de werkgroep behoeft daarvoor niet de gehele studentenpopulatie jaarlijks bevraagd te worden. Nieuwe onderwerpen in de Vragenlijst zijn vragen over uitdagend onderwijs en internationalisering, die naar het oordeel van de werkgroep belangrijke nieuwe trends in het onderwijs zijn. Vraag 15 bleek in de aanpassing in 2012 een intensief discussiepunt. Deze vraag stipt in het kort alle onderwerpen uit de vragenlijst aan, die vervolgens in de rest van de vragenlijst in themablokken aan de orde komen. Gegeven de herhaalde kritiek op de lengte van de NSE (ook dit jaar weer), zou het verwijderen van V15 een reële optie zijn. Sikkel heeft op de gegevens van de afname van de NSE 2010 t/m 2016 de scores uit vraag 15 gebruikt om de validiteit van de themascores te toetsen. Dat is een nuttige exercitie gebleken. De werkgroep vraagt zich wel af of een dergelijk validatie onderzoek een voldoende reden is om V15 jaarlijks voor alle studenten te handhaven. Deze meer fundamentele vraag past echter niet bij de opdracht voor de werkgroep. De werkgroep wil Studiekeuze123 adviseren om de komende jaren ook meer fundamentele vragen te stellen over de NSE in relatie tot het gebruik van de NSE. De werkgroep hoort bijvoorbeeld vanuit de instellingen en studentenorganisaties dat vaak meer aandacht besteed wordt aan de afzonderlijke items dan aan de themascores (gemiddelde score op een themablok). De opzet van de NSE als meetinstrument is echter opgezet vanuit bepaalde opvattingen van schaalconstructie. Een schaal is in dit kader de verzameling items, bijvoorbeeld de tevredenheid over docenten. De items in een schaal dienen een sterke samenhang te vertonen om tezamen een goede representatie van één construct te geven. De validiteit en betrouwbaarheid van de schaal krijgt hierin de nadruk, terwijl de voorstellen vanuit de gebruikers juist veelal aanpassingen op itemniveau betreffen. Een ander punt betreft de vaak gehoorde opmerking (ook nu weer), dat de tevredenheid van studenten soms geen duidelijk houvast geeft voor aanpassing van het onderwijs. Zo is tevredenheid met het aantal contacturen misschien ook een uiting dat studenten blij zijn dat 5

6 het er maar weinig zijn. Van de NSE wordt vaak verwacht dat de resultaten van de NSE leiden tot eenduidige interpretaties. Vaak zal echter nader onderzoek bij de instelling of opleiding nodig zijn om tot een adequate interpretatie te komen en inzicht te krijgen in de verschillende opvattingen van studenten. Niet ieder student verstaat hetzelfde onder goede begeleiding of goede docenten. Niet iedere student oordeelt hetzelfde over hetzelfde onderwijs, omdat men andere doelstellingen heeft of andere criteria hanteert. Dat probleem kan de NSE niet oplossen. De NSE is een tevredenheidsvragenlijst die zowel wordt gebruikt voor studiekeuzeinformatie als voor beleids en managementinformatie. Studiekeuze123 zou de gebruikers beter kunnen informeren over de mogelijkheden en onmogelijkheden in het gebruik van de NSE. De opmerkingen die nu worden gemaakt kunnen immers niet worden opgelost door aan de vragen te sleutelen, hetgeen wel door de gebruikers als taak van de werkgroep wordt verwacht. Het gebruik van de NSE door studiekiezers en instellingen is uiteraard een belangrijk criterium voor de kwaliteit van de NSE. De werkgroep had niet de taak en de mogelijkheden om de NSE daarop te beoordelen en zo nodig aan te passen. De komende jaren zou Studiekeuze123 daarover relevante informatie kunnen verzamelen. Dan kan een diepgaander proces in gang gezet worden om de tevredenheid met de NSE als tevredenheidsinstrument te verbeteren. Dit rapport van de werkgroep zal daar niet al te veel toe bijdragen. 6

7 SAMENVATTING De werkgroep stelt voor de NSE 2017 uit te breiden met twee nieuwe vragenblokken: uitdagend onderwijs en internationalisering. Hiermee wordt ingespeeld op belangrijke wijzigingen in het onderwijs. Verder wordt een beperkt aantal items toegevoegd, dan wel geherformuleerd meestal op grond van suggesties van instellingen en uitgevoerde analyses op de resultaten van NSE Ook stelt de werkgroep voor een paar vragenblokken te verwijderen: contacttijd, overige faciliteiten en studieomgeving en woonsituatie. De belangrijkste overweging hierbij is dat de informatie hierover voor studiekiezers op andere plekken even goed of misschien beter verkregen kan worden. Ook wordt een beperkt aantal items verwijderd. Overall worden er vrijwel evenveel items verwijderd als toegevoegd, zoals ook door het bestuur van Studiekeuze123 als voorwaarde was gesteld (zie bijlage 1). De wijzigingen zijn beperkt van aard en naar het oordeel van de werkgroep goed onderbouwd. De continuïteit van de NSE komt door de wijzigingen niet in gevaar. Het definitieve voorstel NSE 2017 is opgenomen in bijlage 11. De werkgroep had vanuit de instellingen een groot aantal suggesties ontvangen. In hoofdstuk 2 zijn de criteria beschreven op grond waarvan de werkgroep besloten heeft deze suggesties al dan niet over te nemen. Hoofdstuk 3 geeft per suggestie aan op grond van welk criterium de werkgroep heeft geoordeeld. Naast inhoudelijke overwegingen heeft de werkgroep zijn oordeel ook gebaseerd op statistisch onderzoek: enerzijds op het bestand van NSE 2016, anderzijds op een proefafname van de conceptversie van NSE Dit validatie is vooral ook relevant geweest om te beoordelen of de nieuwe vragen over uitdagend onderwijs en internationalisering voldoende valide en betrouwbaar zijn. De conceptversie van de NSE 2017 is opgenomen in bijlage 6. De uitgevoerde analyses zijn beschreven in bijlagen 4 en 7. Speciale aandacht hebben de opleidingen gekregen met afstandsonderwijs, duaal en deeltijdonderwijs. Een beperkt aantal vragen zijn voor deze opleidingen niet relevant vanwege de opzet van het onderwijs, de situatie van de student en de relatie van de opleiding met de arbeidssituatie van de student. Ook hier zijn slechts een beperkt aantal wijzigingen doorgevoerd ofwel in de routering, ofwel in de formulering van de items. Meer hierover in hoofdstuk 5. Een speciaal blok in de vragenlijst betreft Handicap en Studie. Dit vragenblok is opgenomen om zicht te krijgen op hoeveel studenten een ziekte/aandoening of functiebeperking hebben, in welke mate zij hierdoor gehinderd worden bij hun studie en in welke mate zij tevreden zijn met de ondersteuning door de opleiding of instelling. Ook bij dit vragenblok zijn de wijzigingen beperkt; het betreft vooral aanpassingen die eerder in de Studentenmonitor op dit onderwerp zijn toegepast. De NSE loopt daardoor weer meer synchroon met de Studentenmonitor. Hoofdstuk 5 geeft hierover meer informatie. 7

8 HOOFDSTUK 1. AANLEIDING EN WERKWIJZE De aanleiding tot het besluit om te bezien of aanpassing van de NSE wenselijk is, is een direct gevolg van het besluit dat het bestuur van Studiekeuze123 in 2012 heeft genomen op grond van het advies van de werkgroep NSE In 2012 heeft deze werkgroep een aantal aanbevelingen gedaan ter aanpassing van de NSE Tegelijk werd geadviseerd om dit proces om de 3 jaar te herhalen voor een beperkt deel van de NSE en de gehele vragenlijst om de 9 jaar: een combinatie van handhaven van continuïteit en flexibiliteit. Het huidige bestuur heeft echter besloten het proces van aanpassing in gang te zetten voor de gehele NSE Studiekeuze123 heeft de afgelopen jaren de commentaren op de NSE vragenlijst verzameld. Op 7 juli 2015 heeft Studiekeuze123 een bijeenkomst belegd met vertegenwoordigers van onderwijsinstellingen en studenten over wensen tot aanpassingen in de NSE vragenlijst. Veel aandacht is gegaan naar de besluitvorming over behoud of verwijderen van vraag 15. Op 19 september 2015 heeft het bestuur besloten vraag 15 te handhaven in de NSE en een werkgroep met (data )deskundigen in te stellen om benodigde aanpassingen te onderzoeken voor de NSE vragenlijst Er is een beperkte opdracht met kaders meegegeven (zie bijlage 1). Het bestuur is van mening dat de huidige vragenlijst van goede kwaliteit is, maar mogelijk wel aangepast moet worden aan veranderingen in het onderwijs zelf of de behoeften van studiekiezers. Het bestuur heeft op 15 februari 2016 de leden van de werkgroep (samenstelling zie bijlage 2) benoemd. In tegenstelling tot 2012 is gekozen voor een kleine, inhoudelijke werkgroep. In vervolg op dit besluit heeft Studiekeuze123 op 10 maart 2016 alle instellingen geïnformeerd over de benoeming van de leden van de werkgroep en de opdracht die de werkgroep heeft meegekregen. Met inachtneming van de aangegeven kaders konden instellingen vervolgens nog tot 23 maart opmerkingen of suggesties meegeven aan de werkgroep NSE. De werkgroep heeft 6 maal vergaderd. Daarnaast is een klankbordgroep ingesteld, bestaande uit vertegenwoordigers van koepelorganisaties en studentenorganisaties (samenstelling zie bijlage 3). De klankbordgroep heeft 4 maal vergaderd, o.a. over de uitgangspunten die de werkgroep heeft gehanteerd en over de voorgenomen aanpassingen van de NSE. Aan de werkgroep zijn de voorstellen van de deelnemers voorgelegd. Aan Dirk Sikkel van 6TAT is de opdracht gegeven om analyses uit te voeren op de resultaten van de NSE Zijn rapport van 2 mei is aan de werkgroep ter beschikking gesteld (zie bijlage 4). Daarnaast heeft de werkgroep overleg gevoerd met vertegenwoordigers van het kunstonderwijs over de voorstellen van Artez, met studieadviseurs, experticecentrum Handicap + Studie en het ministerie OCW op het gebied van studeren met een handicap om te adviseren over het vragenblok Handicap en studie. Ook is een apart gesprek gevoerd met vertegenwoordigers van afstandsonderwijs, deeltijdstudie en duaal onderwijs om inzicht te krijgen in de mate waarin de vragen van de NSE aansluit bij het specifieke onderwijs dat zij verzorgen. De resultaten van deze overleggen zijn meegenomen als input voor advisering van de werkgroep (zie hoofdstuk 5). 8

9 Ook is overleg gevoerd met OCW naar aanleiding van een passage in het Strategisch Agenda Hoger Onderwijs 'De waarde(n) van Weten pagina 25: Voor kwalitatief goed onderwijs is een wederkerige relatie tussen docent en student essentieel, waarbij de geïnteresseerde student de maatstaf is en niet de consumentistische. In dit licht wordt bekeken of de Nationale Studenten Enquête (NSE) kan worden doorontwikkeld tot een instrument dat de kwaliteitscultuur op de instelling, en de bijdragen van studenten daaraan breed kan duiden. Er wordt dan niet alleen gekeken naar studenttevredenheid, maar ook naar het (studeer)gedrag en de bredere ervaring van studenten en de bijdrage die studenten zelf aan het onderwijs leveren. In de toelichting vanuit OCW werd de term student engagement gebruikt als label voor een attitude die tegenovergesteld is aan de student als consument. OCW gaf te kennen geen haast te willen maken met dit agendapunt. De werkgroep is echter van mening dat er nu de opdracht ligt om de NSE aan te passen aan nieuwe ontwikkelingen. Het is beter nu na te gaan of elementen van student engagement in de vragenlijst opgenomen kunnen worden, dan over een aantal jaren als herziening mogelijk weer aan de orde is. In hoofdstuk 4 wordt hierop nader ingegaan, waarbij het label student engagement is vertaald als uitdagend onderwijs, omdat de NSE geen instrument is om de attitude van studenten te meten, maar om tevredenheid van studenten te bevragen ten aanzien van aspecten van de opleiding die gerelateerd zijn aan student engagement. Op basis van alle suggesties en van een eigen voorstel tot invoegen van vragen over uitdagend onderwijs is een eerste conceptvragenlijst NSE 2017 ontwikkeld (zie hoofdstuk 3). De werkgroep heeft hierbij een aantal uitgangspunten gehanteerd (zie hoofdstuk 2). Deze versie is ter validatie voorgelegd aan een studentenpanel van Gfk. Sikkel heeft een eerste validatie uitgevoerd (zie bijlage 7). Daarnaast is aan de instellingen en studentenorganisaties gevraagd om te reageren op de eerste conceptvragenlijst om na te gaan in hoeverre draagvlak bestaat voor de voorgenomen aanpassingen. Op grond van deze analyses en de ontvangen reacties (bijlage 8) heeft de werkgroep een tweede advies uitgebracht voor de NSE 2017 (zie hoofdstuk 6 en bijlage 9). Dit advies en tweede conceptvragenlijst is voorgelegd aan de VSNU, VH, NRTO, ISO en LSVb. Ook is er nog een tweede validatie uitgevoerd. Hieruit is een eindvoorstel opgesteld. 9

10 HOOFDSTUK 2. UITGANGSPUNTEN BIJ HET BEOORDELEN VAN VOORSTELLEN VOOR WIJZIGINGEN Vanuit de contactpersonen zijn diverse voorstellen en opmerkingen binnen gekomen voor aanpassing van de NSE De werkgroep heeft mede tot taak deze voorstellen te beoordelen. Daarbij geldt als algemeen uitgangspunt dat de opdracht (bijlage 1) aan de werkgroep ingekaderd is: de huidige vragenlijst is goed, de vragenlijst mag niet langer worden; voor nieuwe vragen moeten er oude verwijderd worden. Er zijn beperkte wijzigingen toegestaan; wijzigingen moeten goed onderbouwd worden, bij voorkeur gestaafd door analyses en onderzoek. Aanpassingen zullen vooral gebaseerd moeten zijn op veranderingen in het onderwijs dan wel de samenleving. Naast dit algemene uitgangspunt of als concretisering daarvan hanteert de werkgroep de volgende criteria om voorstellen tot aanpassingen te beoordelen: 1. Het doel van de vragenlijst is primair aankomende studenten te informeren voor hun keuzeproces. Daarnaast hanteren instellingen de scores als evaluatie instrument voor hun onderwijsbeleid. De vragenlijst moet een goede balans houden tussen beide doelstellingen. 2. De NSE is een vragenlijst om tevredenheid van studenten te meten. Dat betekent inherent dat niet altijd meteen duidelijk zal zijn welke criteria studenten daarbij hanteren. Zo kan tevredenheid met een bepaalde studielast betekenen dat studenten tevreden zijn met een geringe belasting, maar ook dat zij dat zijn met een inspannende /uitdagende opleiding. Dat probleem kan echter niet met aanpassing van de NSE opgelost worden. Gebruikers zullen zelf na moeten gaan (bijv. met een nader onderzoek) hoe de score van hun opleiding/instelling geïnterpreteerd moet worden en welke maatregelen geëigend zijn. De werkgroep zal dus dergelijke opmerkingen voor kennisgeving aannemen. 3. In 2012 is een aantal zgn. duidingsvragen opgenomen (dat zijn vragen naar de perceptie van de respondent over bepaalde feitelijke aspecten van het onderwijs, bijvoorbeeld de contacttijd). Deze duidingsvragen worden dan vervolgd met tevredenheidsvragen. Wanneer dit principe op enige schaal zou worden toegepast, zal de vragenlijst per definitie vele malen langer worden. De werkgroep gaat na of de duidingsvragen een meerwaarde hebben opgeleverd voor de interpretatie van de resultaten. De resultaten uit duidingsvragen kunnen niet verwerkt worden in de themascores. Nieuwe duidingsvragen zullen in principe niet worden overgenomen. 4. Suggesties die onderbouwd kunnen worden door vermoedelijk blijvende veranderingen in het onderwijs zullen zo veel mogelijk opgenomen worden. Duidelijk moet dan wel zijn dat hierbij geen sprake is van een hype of incidentele zaken. Dat geldt ook voor de beoordeling van bestaande vragen. Mocht bijvoorbeeld blijken dat de in 2012 aangebrachte veranderingen niet meer actueel zijn, dan is dat een grond om vragen met een korte historie weer te verwijderen 5. Verbeteringen moeten voor alle deelnemers relevant en zinvol zijn. Suggesties die naar het oordeel van de werkgroep te zeer aansluiten bij of gebaseerd zijn op een 10

11 specifieke aanpak, benadering of visie van een bepaalde instelling of opleiding zullen niet worden overgenomen. De gemeenschappelijkheid en vergelijkbaarheid van de NSE wegen in dat geval zwaarder. In het geval van de voorstellen die betrekking hebben op een bepaalde groep van opleidingen of een bepaalde thematiek is door de werkgroep overleg gevoerd met meerdere vertegenwoordigers van die groep. Het betreft de kunstopleidingen (naar aanleiding van de suggesties van Artez), de opleidingen met afstandsonderwijs, duaal en deeltijd en met studentendecanen en adviseurs over het vragenblok Handicap en Studie. 6. Wijzigingen gaan altijd ten koste gaan van continuïteit en daarmee met de vergelijkbaarheid van de resultaten over de jaren heen. Er moeten daarom zwaarwegende inhoudelijke argumenten zijn om wijzigingen in de vragenlijst door te voeren. De nieuwe resultaten moeten vanuit bestaand referentiekader te interpreteren blijven; dit is met name van belang voor de instellingen. Interpreteerbaarheid heeft zowel betrekking op de inhoudelijke betekenis van een score (validiteit) als de methodologische betekenis (betrouwbaarheid). Dat betekent, dat voorgestelde (vaak terechte tekstuele) verbeteringen alleen worden overgenomen als er zwaarwegende inhoudelijke redenen voor zijn. De werkgroep realiseert zich, dat dit een erg subjectief criterium is. Bij het oordeel zal daarom steeds ook de betrouwbaarheid van de scores op de thema s een belangrijke rol spelen. 7. Sommige geconstateerde suggesties hebben betrekking op de relevantie van een item of thema voor een bepaalde groep studenten of deelnemers (bijv. studenten van afstandsonderwijs). Doorgaans kan dat opgelost worden door de routering van de respondent door de vragenlijst aan te passen. Mocht dat geen oplossing bieden, dan is er altijd nog de antwoordmogelijkheid n.v.t. Soms wordt opgemerkt dat het toch vreemd is dat studenten een bepaald aspect positief of negatief waarderen, terwijl dat aspect geen kenmerk van de opleiding is. Die respondent had dus voor de n.v.t. antwoordcategorie moeten kiezen. Opleidingen kunnen overigens eigen analyses uitvoeren waarbij ze corrigeren voor dergelijke foute antwoorden. 8. Vanuit Stenden is de suggestie gedaan om bij vragen een i tje op te nemen waardoor studenten die twijfelen kunnen nagaan of zij de vraag wel goed begrijpen. Dit is op zich een zinvolle suggestie, maar lastig om uit te voeren. De verschillen tussen opleidingen en instellingen zijn groot: wat bij de ene goed is of relevant, is bij de ander mogelijk vanzelfsprekend of irrelevant. Het lijkt de werkgroep bijzonder lastig om algemeen geaccepteerde omschrijvingen op te nemen, tenzij het om strikte feitelijkheden gaat, zoals wellicht de beschrijving van een bepaalde ziekte. Het invoeren van veel i knoppen zal daarom bijzonder veel tijd vragen en de mocht het bestuur besluiten daartoe toch over te gaan, dan adviseert de werkgroep dat niet voor de NSE 2017 te doen. 9. In een aantal gevallen kan via statistische analyses (regressies, factoranalyses, etc.) nagegaan worden of studenten als groep een tamelijk consistente interpretatie van de vragen hebben gehanteerd. De werkgroep heeft voor alle themascores de samenhang met de items van vraag 15 onderzocht. Op basis daarvan komt de werkgroep tot de conclusie dat over het geheel van de respondenten genomen er een samenhang is tussen de antwoorden op de items van vraag 15 en de daarmee corresponderende 11

12 themascores (zie Sikkel 2 mei; bijlage 4). Op zich is er vanuit dit criterium weinig aanleiding om de items van de thema s te wijzigen. Dit is uiteraard niet het enige criterium dat de werkgroep heeft gehanteerd, zoals uit het voorafgaande moge blijken. Wijzigingen moeten niet leiden tot een zwakkere samenhang tussen de items van vraag 15 en de corresponderende themascores (zie ook punt 12). 10. De items in vraag 15 bestaat uit alle deelaspecten van het onderwijs die in daaropvolgende vragenblokken uitgebreid bevraagd worden, met uitzondering van de vragenblokken die niet voor alle studenten van toepassing zijn (Handicap en Studie, stage en opleiding, stage ervaring, internationale studenten, Engelse taalaanbod). Van onderwerpen die verwijderd worden uit de vragenlijst (m.a.w. alle items die daarover gaan) wordt ook het corresponderende item uit vraag 15 verwijderd. 11. Het blijkt dat sommige informatie die in het verleden alleen via de NSE beschikbaar was inmiddels ook op vele andere websites e.d. te vinden is. De vragen die daarop betrekking hebben, zullen verwijderd worden. Dit geldt bij voorbeeld voor vragen over de studieomgeving. Het feit dat specifieke informatie alleen via de NSE beschikbaar is, is een argument om de vragen te handhaven 12. De pilot als controle c.q. validatie. De werkgroep heeft de aangepaste conceptvragenlijst voorgelegd aan een studentenpanel met een ruime omvang (minimaal 500 responderende studenten) om te toetsen of de voorgenomen wijzigingen het beoogde effect hebben. Met andere woorden uit de pilot moet blijken of de beoogde wijzigingen door de respondenten geïnterpreteerd worden als bedoeld. Samenvattend: Criterium 1: goede balans houden tussen beide doelstellingen. Criterium 2: tevredenheid van studenten meten Criterium 3: Nieuwe feitenvragen zullen in principe niet worden overgenomen. Criterium 4: blijvende veranderingen in het onderwijs zullen zo veel mogelijk opgenomen worden. Criterium 5: Verbeteringen moeten voor alle deelnemers relevant en zinvol zijn Criterium 6: De veranderingen mogen alleen als er zwaarwegende inhoudelijke gronden zijn ten koste gaan van continuïteit Criterium 7: Routering of nadruk op NvT als oplossing voor vragen die niet relevant zijn voor een specifieke groep/situatie Criterium 8: de i knop niet invoeren om interpretatieproblemen op te lossen Criterium 9: Wijzigingen moeten niet leiden tot een zwakkere samenhang tussen de items van vraag 15 en de corresponderende themascores. Criterium 10: Items uit vraag 15 worden consistent gehouden met de thema s in de vragenlijst Criterium 11: het feit dat specifieke informatie alleen via de NSE beschikbaar is, is een argument om vragen te handhaven. Criterium 12; de validatie van nieuwe thema s. 12

13 HOOFDSTUK 3. EERSTE CONCEPT NSE VRAGENLIJST 2017 Op basis van de ontvangen reacties van de deelnemende instellingen, studenten én op basis van eigen voorstellen is een concept vragenlijst opgesteld (bijlage 6). In dit hoofdstuk worden eerst de algemene opmerkingen op de NSE vragenlijst behandeld en het oordeel van de werkgroep hierover. Vervolgens komt per vraag uit de vragenlijst de ingekomen opmerkingen en het oordeel van de werkgroep aan de orde. Dit heeft geleid tot een concept NSE vragenlijst 2017 die ter validatie aan een studentenpanel is voorgelegd. 3.1 DE ALGEMENE OPMERKINGEN LENGTE De algemene indruk van gebruikers van de NSE, is dat de vragenlijst te lang is, en dat de respons verder omhoog kan met een kortere lijst. Toepoel, assistent professor aan het Department of Methodology and Statistics aan Utrecht University stelt: Er zijn geen harde normen. Vaak wordt een vragenlijst van 20 minuten max aangehouden. Maar er zijn ook genoeg surveys die erover heen gaan. Met de komst van de mobiele telefoon als device om vragenlijsten in te vullen is 10 minuten al lang. Weet je hoeveel procent er afhaakt? Dat zou een indicator kunnen zijn. Over het algemeen geldt wel: hoe korter hoe beter. Als de vragenlijst langer duurt zijn meer mensen geneigd hem niet serieus in te vullen, dan heb je wel data maar is die van lage kwaliteit. De gemiddelde invulduur van de vragenlijst van de NSE 2015 bedroeg 12,6 minuten voor studenten die op locatie onderwijs volgden en 9,4 minuten voor studenten die afstandsonderwijs volgden en als gevolg hiervan een kortere vragenlijst invulden. Tabel 1. Gemiddelde invulduur in minuten voor locatie en afstandsonderwijs Jaar Locatie Afstandsonderwijs NSE Niet bekend NSE ,6 Niet bekend NSE ,6 Niet bekend NSE ,6 10,0 NSE ,7 9,2 NSE ,6 9,4 Bron: NSE onderzoeksverantwoording 2015 De mate waarin de vragenlijst volledig wordt ingevuld (het afhaakpercentage) kan een indicator zijn voor de datakwaliteit. In het geval van de NSE 2015 heeft op basis van de netto respons 88,2% van de respondenten de vragenlijst integraal beantwoord waarmee het afhaakpercentage uit komt op 11,8%. In 2014 was het afhaakpercentage 13,8%. Het afhaakpercentage lijkt aan de hoge kant. 13

14 In Figuur 1 is na te gaan waar studenten (die zijn meegerekend tot de netto respons) in de vragenlijst uitvielen. Waar in 2013 en 2014 de meeste studenten snel na de algemene tevredenheidsvraag (v14) afvielen, vielen in 2015 de meeste studenten af tussen vraag 15 en vraag 20. Op het einde van de vragenlijst is er nog weinig sprake van uitval, wat erop wijst dat studenten die eenmaal besloten om deel te nemen, over het algemeen niet later tijdens het invullen van de vragenlijst alsnog door de lengte werden ontmoedigd om verder te gaan. Het verval is gelijkmatig, het is niet waarschijnlijk dat dit doelgroep specifiek is. Figuur 1. Niet volledig ingevulde vragenlijst (verval voor een aantal vragen) % van degenen die vraag 14 hebben ingevuld Vraag 14 Vraag 15n Vraag 20h Vraag 25d Vraag 30d Vraag Vraag 14 is de eerste tevredenheidsvraag in de NSE (algemeen oordeel over de studie); vraag 42 de laatste vraag: Zou je jouw opleiding aanraden aan vrienden, familie of collega s? Bron: NSE onderzoeksverantwoording 2015 Wat betreft de lengte is de werkgroep van mening, dat deze beperkt van invloed is op de respons (zie Sikkel, 2 mei; bijlage 4). De netto respons laat in 2012 een dip zien van 31% en is in % terwijl de lengte van de vragenlijst niet is afgenomen (zie tabel 2.) Tabel 2. Netto respons en veldwerkduur in 2010 tot en met 2015 Jaar Netto respons Veldwerkduur ,1% 10 weken ,2% 10 weken % 10 weken ,5% 8-10 weken ,7% 8 weken ,9% 8-9 weken Bron: NSE onderzoeksverantwoording

15 BEHOEFTE AAN SPECIFIEKE VRAGENLIJSTEN VOOR VERSCHILLENDE DOELGROEPEN Enkele hogescholen, waaronder de Hanzehogeschool, pleiten voor specifieke vragenlijsten voor o.a. bachelor studenten, masterstudenten, internationale studenten, deeltijdstudenten. Zeker ook omdat deze groepen belangrijker gaan worden in het hoger onderwijs. Om het uitvalpercentage per doelgroep te bekijken heeft Sikkel een analyse gedaan naar het verval op basis van de NSE data 2011 tot en met Tabel 3. Uitvalpercentages per doelgroep Type opleidingsvorm Voltijd Deeltijd Duaal Count Column N % Count Column N % Count Column N % Missing , , ,3 Nee, zeker niet , , ,8 Nee, ik denk het niet , , ,3 Misschien , , ,8 Ja, ik denk het wel , , ,2 Ja, zeker wel , ,6 Total Type hoger onderwijs Bachelor Master Associate Degree Count Column N % Count Column N % Count Column N % Missing , , ,9 Nee, zeker niet , ,7 Nee, ik denk het niet , , ,3 Misschien , , ,1 Ja, ik denk het wel , , ,3 Ja, zeker wel , , ,7 Total Bron: Sikkel, mei Analyse: uitvalpercentages_doelgroep Hieruit blijkt dat het afhaakpercentages onder master, ad, deeltijd en duaal lager ligt dan bij de voltijd bachelor. Deze bevinding ondersteunt de oproep naar de ontwikkeling van doelgroepgerichte vragenlijsten niet. Inhoudelijk blijkt het bovendien lastig om onderwerpen te benoemen die toegevoegd zouden moeten worden voor specifieke doelgroepen. De vragenlijst lijkt in het algemeen het gehele onderwijsspectrum goed te beslaan en geeft een goede onderverdeling in categorieën. De kracht van de NSE zit in het landelijk kunnen vergelijken van opleidingen. 15

16 Artez heeft een verzoek bij Studiekeuze123 ingediend om een aparte routing / vragenlijst voor het hoger kunstonderwijs te gaan hanteren. Veel vragen zijn niet of in mindere mate geschikt/relevant voor het kunstonderwijs. Daarnaast zijn er bepaalde thema s die juist wel relevant zijn en niet voldoende worden bevraagd in de huidige lijst. Uit een peiling naar het draagvlak onder andere grotere hogescholen die ook kunstonderwijs aanbieden en kunstenhogescholen bleken weinig medestanders voor een aparte routing voor het kunstenonderwijs. Sommige opmerkingen kloppen, maar niet zodanig om de vragenlijst hierop aan te passen. De gemeenschappelijkheid en vergelijkbaarheid van de NSE wegen zwaarder. Daarmee worden alle suggesties gedaan door Artez en het ontwikkelen van doelgroep gerichte NSE vragenlijsten niet overgenomen door de werkgroep MODULAIR ONDERWIJS Hoe omgaan met modulair onderwijs? Met studenten die niet een hele opleiding maar modules volgen. Of studenten die de ene module hier en de andere daar volgend. Wat betekent dit voor de vragenlijst? (HAN) Vanaf 1 september 2017 wordt gestart met de experimenten in vraagfinanciering. Dit geeft aan dat het modulair onderwijs zich op dit moment volop ontwikkeld. Hoe hierop te acteren met de NSE is op dit moment nog lastig te overzien. De werkgroep verwacht dat over een jaar of 3 hier meer uitspraken over gedaan kunnen worden ACHTERGRONDKERNMERKEN Er is door instellingen geopperd om ook te kijken naar het inkorten van het deel van de vragen over de achtergrond van de student (vragen 1 tot en met 13). Studiekeuze123 wenst conform het uitgangspunt van het CPB zo min mogelijk persoonsgegevens van studenten van instellingen te ontvangen wanneer dit voor de uitvoering van de NSE niet noodzakelijk is. De werkgroep neemt deze suggestie niet over ACCREDITATIEKADER Er is een algemene opmerking gedaan dat wellicht meer vanuit het accreditatiekader gedacht zou kunnen worden (Avans). Een motivatie is niet gegeven. De NSE dient niet alleen voor managementinformatie voor instellingen, maar ook voor studiekeuze informatie voor aankomende studenten. Deze suggestie wordt terzijde gelegd ITEM INTERPRETATIE Item interpretatie. Studiekeuze123 heeft een brief ontvangen d.d. 28 mei 2015 van een student assessor van de VU (mevrouw Brugman) over de iteminterpretatie van de NSE. Brugman heeft een studentenpanel georganiseerd met als doel de precieze interpretatie van studenten van de items uit de NSE te achterhalen. Uit dit studentenpanel bleek dat de betekenis van sommige items uit de NSE niet altijd duidelijk of eenduidig te zijn, wat volgens Brugman de interpretatie van de resultaten van de NSE voor universiteiten en faculteiten problematisch maakt. Het bleek dat met name een aantal van de thema items uit vraag 15 voor studenten moeilijk te interpreteren zijn. Sixtat heeft de bevindingen onderzocht. Het verschil tussen item 15l studiefaciliteiten en item 15g overige faciliteiten en studieomgeving wordt door studenten als onduidelijk wordt ervaren. Bij beide wordt het meest gedacht aan de studiezalen en computerruimtes. Dit is de bevinding die ook direct door data analyses van 16

17 Sikkel (bijlage 4, pagina 18) wordt ondersteund. Met het voorstel van de werkgroep het vragenblok 31 overige faciliteiten en studieomgeving en het corresponderende item 15g te laten vervallen, wordt dit probleem ondervangen ROUTING EN NIET VAN TOEPASSING Niet alle vragen zijn relevant voor studenten die afstandsonderwijs volgen, duaal of deeltijdonderwijs. Dit geldt met name over de vraag naar huisvesting e/o stages. Een punt dat verbeterd kan worden bij de huidige vragenlijst heeft vooral te maken dat wij bij Saxion Next met veel studenten in deeltijd (vaak volwassenen en vanuit thuis deelnemen aan de studie of op een centrale locatie in het land) te maken hebben en studenten die niet in Deventer op kamers zitten. In de vragenlijst zijn vragen opgenomen over de faciliteiten in de studentenstad, studiefaciliteiten op locatie en de woonsituatie. Zie ook vragen 15, 17 en 18. Voor routing geldt dat op 26 mei 2016 een apart gesprek is gevoerd met drie contactpersonen die werken in deeltijd, duaal en afstandsonderwijs. In hoofdstuk 5, paragraaf 1 worden de conclusies vermeld. Een andere opmerking die Studiekeuze123 heeft ontvangen is: Wanneer studenten vragen niet begrijpen vullen ze vaak neutraal in, dit drukt op het tevredenheidspercentage. Zou er niet een kolom nvt of weet ik niet toegevoegd kunnen worden? (Hanze). Voor elke tevredenheidsvraag in de NSE geldt dat de student niet van toepassing kan invullen, zelfs voor de vraag naar algemene tevredenheid over de opleiding, vraag 14. V14. We willen je graag vragen hoe jij je studie in het algemeen beoordeelt. Geef alsjeblieft hieronder aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=n.v.t.> Je studie in het algemeen Sikkel heeft een analyse gedaan naar het gebruik van de niet van toepassing categorie. De uitkomst wijst erop dat als een vraag niet bestemd is voor een bepaalde groep niet van toepassing inderdaad wordt gebruikt. Dit is een argument voor de werkgroep om niet teveel specifieke groep gebonden routes in te richten. 17

18 Tabel 4. Gebruik afstandsonderwijs N.v.T. bij vraag 15 % niet van toepassing Algemene oordelen N.v.T Je studie in het algemeen 0,6 De inhoud van de opleiding 0,5 De verworven algemene vaardigheden binnen je opleiding 1,1 De verworven vaardigheden praktijkgericht onderzoek binnen je opleiding 5,4 De voorbereiding op de beroepsloopbaan 9,1 De docenten van de opleiding 3,8 De informatie vanuit je opleiding 1,0 De studiefaciliteiten van je opleiding 4,1 Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing) 4,3 De studieroosters 22,7 De studielast 1,9 De studiebegeleiding 4,9 De overige faciliteiten en de studieomgeving 14,5 De algemene sfeer op je opleiding 17,7 De mate waarin je betrokken wordt bij de verbetering van je opleiding 9,3 Bron: Sixtat,

19 3.2 OPMERKINGEN OVER VRAGEN UIT DE NSE VRAGENLIJST De opmerkingen over vragen uit de NSE vragenlijst zijn te onderscheiden in opmerkingen over de achtergrondkenmerken van de student (vragen 1 tot en met 13) en de NSE vragenlijst (vragen 14 tot en met 42). De opmerkingen worden in paragraaf 3.1 resp. 3.2 aan de orde gesteld, gevolgd door het besluit van de werkgroep ACHTERGRONDKENMERKEN Er zijn enkele opmerkingen ontvangen over de achtergrondkenmerken van de student waar de vragenlijst mee begint. Een daarvan heeft direct impact op de uitvoering van het onderzoek: al dan niet opnemen van premaster/schakelstudenten. Het is aan Studiekeuze123 om dit in overweging te nemen. Andere opmerkingen over achtergrondkenmerken worden opgelost in de routing. Studiejaar Voor vraag 9 (in welk studiejaar zit je?) <Associate degree 1 2; Bachelor 1 4; master 1 4; oude stijl 1 8> worden de volgende aanpassingen voorgesteld en overgenomen door de werkgroep: Oude stijl laten vervallen Master aanpassen naar 1 3 De suggestie is gedaan om de vraag voor flexibel onderwijs aan te passen naar een percentage Hoeveel procent van de opleiding heb je afgerond? 0 25%, 26 50%, 51 75%, %. De werkgroep vreest, dat dit voor de student niet of moeilijk te beantwoorden is. Voor deze groep wordt in de vraag naar het studiejaar een extra antwoordmogelijkheid toegevoegd: niet van toepassing. Vraag 13 Het blijkt zo te zijn dat een groot gedeelte van de internationale studenten de vragen die voor hen bedoeld zijn niet voor ogen krijgen omdat ze verkeerd geroute worden via vraag 13. Het blijkt dat van de bijna 800 internationale studenten uit LEI die de NSE hebben ingevuld er nog geen 90 de internationale vragen voorgelegd kregen. Het gaat om de volgende vraag: 20. Internationale studenten (alleen studenten met een buitenlandse vooropleiding) V41. De volgende vragen zijn specifiek voor internationale studenten. Geef aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=n.v.t.> a De geboden hulp door je instelling (bijv. bij inschrijving, huisvesting, visa e.d.) b De hulp door je instelling bij de integratie in de Nederlandse cultuur (bijv. een Engelse of Nederlandse taalcursus, buddy systeem) c De persoonlijke begeleiding door je mentor/begeleider d Het aanbod aan Engelstalige vakken e De beheersing van de Engelse taal van medewerkers van de instelling Zij worden hier alleen naartoe geleid als ze aangeven een buitenlands diploma gehaald te hebben (V13, antwoordcategorie 12 en 13). Hieraan wordt categorie 15, Internationaal baccalaureaat, aan toegevoegd. Het overgrote deel vult echter in dat ze een bachelor heeft 19

20 gedaan (bijna 430) of een master (ongeveer 60) en gaan hiermee de normale route in. Dit probleem doet zich bij alle universiteiten voor. V13. Met welk diploma ben je toegelaten tot je huidige opleiding? 01 Havo 02 Vwo 03 Mbo 04 Hbo propedeuse 05 Hbo einddiploma of hbo bachelor 06 Hbo master 07 Universiteit propedeuse 08 Universiteit bachelor 09 Universiteit doctoraal examen 10 Universiteit master 11 Associate degree 12 Buitenlandse vooropleiding voortgezet onderwijs 13 Buitenlandse vooropleiding hoger onderwijs 14 Colloquium doctum (21+ toets) /toelatingsgesprek 15 Internationaal baccalaureaat 16 EVC procedure / Op basis van eerder verworven competenties/werkervaring 17 Op andere gronden, namelijk <vrij tekstveld> 98 N.v.t. 99 Weet niet Als voorstel is gedaan om bij opties 7, 8, 9, 10: In Nederland toe te voegen en bij 12 en 13: heeft de Erasmus Universiteit aangegeven dat in het buitenland niet vertaald moet worden als foreign of ausländischer omdat dit niet overeen komt met de interpretatie van de internationale student maar als in het Engels en Duits als: aan een niet Nederlandse instelling. V13. Met welk diploma ben je toegelaten tot je huidige opleiding? 01 Havo 02 Vwo 03 Mbo 04 Hbo propedeuse 05 Hbo einddiploma of hbo bachelor 06 Hbo master 07 Universiteit propedeuse in Nederland 08 Universiteit bachelor in Nederland 09 Universiteit doctoraal examen in Nederland 10 Universiteit master in Nederland 11 Associate degree 12 Vooropleiding voortgezet onderwijs in het buitenland: dit moet vertaald worden als: aan een niet Nederlandse instelling 13 Vooropleiding hoger onderwijs in het buitenland: dit moet vertaald worden als: aan een niet Nederlandse instelling 14 Colloquium doctum (21+ toets) /toelatingsgesprek 20

21 15 Internationaal baccalaureaat 16 EVC procedure / Op basis van eerder verworven competenties/werkervaring 17 Op andere gronden, namelijk <vrij tekstveld> 98 N.v.t. 99 Weet niet In de brief van de Vereniging Hogescholen van 29 september 2016 is de suggestie gedaan om de vraag naar woonsituatie te verplaatsten naar de achtergrondkenmerken. Met het verwijderen van de vraag naar de kamerhuur zou dit kenmerk niet langer beschikbaar zijn. Uit reacties van de klankbordgroep blijkt dat dit interessante analyses kan opleveren nu studenten vaker thuis blijven wonen andere vragen omtrent woonsituatie en leefomgeving niet langer gesteld worden. Deze vraag is daarom als laatste vraag naar de achtergrondkenmerken verplaatst met de routering alleen naar voltijdstudenten NSE VRAGENLIJST ALGEMENE OORDELEN (V14 EN 15) De werkgroep handhaaft de items van V15, gezien het grote verschil in opvattingen van de deelnemende instellingen en de eerdere besluitvorming in het bestuur Studiekeuze123. De items blijven ongewijzigd. Suggesties bij items in vraag 15 als: Graag schaal van antwoordmogelijkheid V15 j de studielast wijzigen in te hoog te laag van een studentassessor van de VU worden niet overgenomen volgens criterium 2, 3, 6. Alleen als een themascore wordt toegevoegd of verwijderd wordt deze toegevoegd dan wel verwijderd uit vraag 15 (criterium 10). Over themascores die niet aan alle respondenten worden voorgelegd wordt geen apart item in vraag 15 opgenomen. Dit geldt voor stage en voor het vragenblok internationale studenten. Gezien de voorstellen (zie verder hieronder) betekent dit: 15f wordt in eerste conceptversie van de Vragenlijst 2017 aangepast conform het voorstel in de aangepaste vragenlijst informatievoorziening tijdens je opleiding. In het eindvoorstel wordt deze aanpassing echter niet doorgevoerd. 15l vervalt; (De overige faciliteiten en de studieomgeving) Er worden drie items toegevoegd: groepsgrootte, uitdagend onderwijs en de aandacht voor internationalisering. Groepsgrootte is toegevoegd in 2013 en ontbrak nog in vraag 15. Nieuwe onderwerpen uitdagend onderwijs en de aandacht voor internationalisering, zie hoofdstuk 4. Voor item d wordt een tweede variant ontwikkeld voor afstandsonderwijs, duaal en deeltijd. Zie hoofdstuk 5.1 De voorbereiding op de beroepsloopbaan (voltijd) / de aansluiting op de beroepspraktijk (afstand, duaal, deeltijd). 21

22 INHOUD EN OPZET VAN HET ONDERWIJS (V16) Sikkel (bijlage 4) heeft per onderwerp een regressieanalyse uitgevoerd van de items op het detailoordeel (vraag 15) en op de themascores (de gemiddelden over de items per onderwerp). Voor dit laatste punt zijn de uitkomsten enigszins triviaal, want de waarden van B zijn per definitie gelijk aan 1/aantal items. Voor vraag 16 blijkt dat, gegeven de andere items, de meeste relaties met het oordeel positief zijn. Dit geldt niet voor De aansluiting van je opleiding bij je vooropleiding en De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen. De bèta s van de scores op 16c en 16h zijn in absolute waarde zo laag dat ook niet echt van een verkeerde richting kan worden gesproken. De multipele correlatie tussen de items en het oordeel uit vraag 15 is 0.763, zeer hoog dus. Dit geldt met ook voor de themascore (zie bijlage 4, pagina 10). Over de items 16c en 16h zijn ook opmerkingen van instellingen ontvangen zijn. Bij item 16c De tevredenheid over de aansluiting van je opleiding bij je vooropleiding is opgemerkt dat het interpreteren van de uitkomst van dit item moeilijk is vanwege de verschillende mogelijke vooropleidingen die studenten kunnen hebben doorlopen, namelijk: vwo, hbo propedeuse, premaster, een andere universitaire opleiding. Deze vooropleidingen zijn weinig vergelijkbaar. De instellingen zijn echter naar het oordeel van de werkgroep wel in de gelegenheid om aanvullende analyses op de vooropleidingen en studenttevredenheid te doen. Meerdere instellingen geven aan op inhoudelijke gronden moeite te hebben met vraag 16h De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen. Op basis van criteria 5 en 6 blijft het item in de validatie van de NSE aanpassingen nog behouden (zie ook hoofdstuk 6). Stenden stelt voor bij 16i De in jouw opleiding gehanteerde werkvormen toe te lichten wat werkvormen zijn. Volgens criterium 8 wordt dit niet toegepast. Studenten zullen in ieder hun eigen specifieke situatie een tevredenheidsoordeel geven. ALGEMENE VAARDIGHEDEN (V17) Maastricht University heeft het volgende doorgegeven: De inhoud van thema 17 is te beperkt. Vanuit onze instelling zijn de volgende algemene vaardigheden voorgesteld die ontbreken: de ontwikkeling van interculturele vaardigheden het zelfstandig vergaren van informatie het vermogen zelfstandig planmatig en gericht te studeren Idealiter zouden we deze items graag toegevoegd willen zien aan V17, al was het maar om de factorstructuur niet te doorbreken. Maar als er dan drie items uitmoeten komen in ieder geval V17c en V17f in aanmerking die in feite hetzelfde is als V18a. Als er dan nog een derde uit moet, mag dat van mijn V17a zijn. De werkgroep is niet overtuigd dat de suggesties van Maastricht University beter zijn dan de huidige items. De huidige items zijn meer algemeen en minder tijdsgevoelig geformuleerd en gelden voor alle instellingen (criterium 5 en 6). 22

23 VERWORVEN WETENSCHAPPELIJKE VAARDIGHEDEN WO (V18) Maastricht University heeft voorgesteld om V18c Het schrijven wetenschappelijke artikelen aan te passen naar Het schrijven van wetenschappelijke teksten. Dan vallen ook rapporten, werkstukken, de scriptie eronder. Het tweede voorstel van Maastricht University is een van de items V18d (Methoden en technieken van onderzoek) of V18e (Het doen van onderzoek) te laten vervallen en in plaats daarvan toe te voegen (nieuw): het vermogen voor/ in (grotere) groepen een heldere voordracht te houden over academische/ wetenschappelijke onderwerpen De aanpassing: Het schrijven van wetenschappelijke teksten i.p.v. Het schrijven wetenschappelijke artikelen. Wordt niet overgenomen op basis van criteria 5 en 6. Het voorstel het vermogen om een heldere voordracht te houden lijkt te worden ondervangen met items 17d Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) en 17f Argumenteren/redeneren. Deze suggesties van Maastricht Universiteit worden niet overgenomen. VERWORVEN VAARDIGHEDEN PRAKTIJK GERICHT ONDERZOEK HBO (V18) De werkgroep stelt voor dit vragenblok voor Hbo studenten te harmoniseren met het vragenblok Verworven Wetenschappelijke Vaardigheden voor WO studenten door een item toe te voegen: Het doen van praktijkgericht onderzoek. De werkgroep constateert dat steeds meer studenten betrokken zijn bij praktijkgericht onderzoek. Bovendien ambiëren de hogescholen en OCW om dit aantal sterk te laten groeien in de komende jaren (zie Strategische agenda OCW en factsheet Praktijkgericht onderzoek van de Vereniging Hogescholen). VOORBEREIDING BEROEPSLOOPBAAN (V19) Studiekeuze123 heeft drie brieven ontvangen van diverse economische studieverenigingen. Zij geven aan dat de inzet en activiteiten van studieverenigingen rondom de voorbereidingen van studenten op de beroepsloopbaan naar verwachting nu niet worden meegewogen in de beoordeling van studenten in de NSE. Vaak zijn studieverenigingen echter wel gelieerd aan de onderwijsinstellingen en ondernemen zij veel activiteiten op dit gebied. Als gevolg van tegenvallende beoordelingen organiseren diverse universiteiten nu carrière evenementen die in het vaarwater zitten van de studieverenigingen. Samenvattend zijn wij van mening dat aangehaalde zaken een probleem vormen zowel voor de validiteit van de enquête als de toekomstige ontwikkeling van studieverenigingen. Wij vragen u de inzet van studieverenigingen in de beoordeling van de voorbereiding studieloopbaan mee te laten wegen. Het liefst door studieverenigingen expliciet te benoemen in de vragenlijst. De werkgroep NSE vragenlijst is van mening dat de NSE geen instrument zou moeten zijn om het functioneren van studieverenigingen of hun bijdrage aan het onderwijs te meten. Geopperd is door de werkgroep NSE dat de studieverenigingen hierover het gesprek met de opleiding/universiteit aangaan om de samenwerking te zoeken. 23