Monitoring en evaluatie van sport(stimulering)beleid, met aandacht voor inzet Buurtsportcoach

Transcriptie

1 Monitoring en evaluatie van sport(stimulering)beleid, met aandacht voor inzet Buurtsportcoach

2 Monitoring en evaluatie van sport(stimulerings)beleid, met aandacht voor inzet Buurtsportcoach Liesbeth Preller (Kenniscentrum Sport) Linda Ooms (Mulier Instituut) Nationale Kennisdag Sport en Bewegen in de Buurt Donderdag 14 december 2017

3 Agenda M&E sport(stimulerings)beleid: Liesbeth Preller M&E inzet buurtsportcoach: Linda Ooms Aan de slag

4 Monitoring & evaluatie sport & beweegbeleid

5 M&E Tool (1)

6 M&E Tool (2) Thema s M&E tool Sport- en beweegaanbieders Topsport en talentontwikkeling Sportaccommodaties Maatschappelijke waarde (sociaal domein) Sportstimulering Gezonde leefstijl

7 Belangrijkste M&E uitdagingen gemeenten Zinvolle M&E: haalbaar, betaalbaar, bruikbaar en niet onnodig Inhoudelijk: hoe de goede effecten te meten (juiste indicatoren) Verzamelen van alle (juiste) informatie (versnippering gegevens; niet altijd beheer over) Proces: effectieve sturing op M&E in de samenwerking met de uitvoerders

8 Stappenplan Monitoring en Evaluatie 1. Keuze voor M&E (voorbereiding) 2. Randvoorwaarden 3. Selectie van indicatoren (uitwerking) 4. Keuze van onderzoeksmethode 5. Verzamelen en registreren van informatie 6. Interpreteren van informatie (analyse) 7. Rapporteren 8. Evalueren en verankering (evaluatie)

9 Logisch model voor planning en evaluatie (stap 3) Beleidsproces Kosten effectiviteit Doelmatigheid beleidsproces Zuinigheid Omgeving/individu Middelen Activiteiten Prestatie Effect Input Geld, mensen, materialen Proces of throughput Output Outcome MAPE-model / VBTB-model, Bouckaert, 2005, Van der Knaap, 2001 Doeltreffendheid

10 Keuze van onderzoeksmethode (stap 4) Kwantitatieve evaluaties enquêtes rapportages (ook financieel) experiment Kwalitatieve evaluaties interviews (focus) groepsgesprekken observaties Mixed methode onderzoek Deskresearch

11 Voorbeelden van M&E instrumenten Input Throughput Output Outcome Microniveau Mesoniveau Macroniveau - Inventaris - Gemeentelijk budget sportmateriaal - Fte beleidsmedewerkers - Projectfinanciering sport - Organisatieproces - Logboek - Deelnemerslijsten - Groepsgesprekken - Tevredenheidsmeting activiteitendeelnemers - Activity tracker - Fittest - Kracht- en mobiliteittesten - Samenwerking- en netwerkinstrumenten - Aantal activiteiten - Financieel evaluatieinstrument - Logboek - RSO - Monitor burgerparticipatie Landelijke monitors: Leefstijlmonitor (CBS, RIVM, GHOR) en Gezondheidsenquête (CBS, RIVM), Gezondheidsmonitor (GGD-en, CBS, RIVM), Vrijetijdsonderzoek (SCP), Sportersmonitor + Verenigingsmonitor + Monitor topsportklimaat (NOC*NSF, GFK), RIVM-kompas, waarstaatjegemeente.nl, monitor sport en gemeenten (Rapportage sport (SCP), CBS, Gemeentelijke monitor Sociaal Domein (KING, CBS), Kennis en informatiesysteem Sport (NOC*NSF), Leefbarometer (MINBZK)

12 Monitoring en Evaluatie Buurtsportcoachbeleid

13 Betrokkenen Buurtsportcoachbeleid Macroniveau Initiator VWS/OCW + bestuurlijk en uitvoeringspartners Impuls zoals landelijk bedoeld Lokaal maatwerk Lokale doelen Mesoniveau Gemeenten Impuls zoals geïmplementeerd en lokaal bedoeld Inzet typen buurtsportcoaches (doelen/doelgroepen/ taken/competenties Intermediaire gebruiker(s) Lokale partners Buurtsportcoaches (+samenwerkingspartners) Impuls zoals geïmplementeerd Microniveau Einddoelgroep(en) Bron: Evaluatieonderzoek Buurtsportcoaches, Van Lindert et al., 2017 Inwoners, scholen, sportclubs, etc. Impuls zoals gerealiseerd, beoogde en onvoorziene resultaten en effecten

14 Logisch model voor planning en evaluatie inzet BSC Beleidsproces Kosten effectiviteit Doelmatigheid beleidsproces Zuinigheid Omgeving/individu Middelen Activiteiten Prestatie Effect Input Geld, mensen, materialen Proces of throughput Output Outcome MAPE-model / VBTB-model, Bouckaert, 2005, Van der Knaap, 2001 Doeltreffendheid

15 Activiteiten (proces of throughput) Activiteiten die met de inzet van middelen worden uitgevoerd door de BSC om bepaalde prestaties te bereiken en de manier waarop dit wordt gedaan (proces), bijv.: - Het organiseren van sportactiviteiten i.s.m. sportvereniging - Het aangaan van gesprekken met organisaties om bepaalde partijen te verbinden - Ondersteuning bieden bij de lessen bewegingsonderwijs

16 Prestaties (output) Daadwerkelijke producten, diensten en activiteiten die BSC levert, bijv.: - Het aantal georganiseerde activiteiten - Het aantal bereikte deelnemers - Het bereiken van specifieke doelgroepen - Samenwerking tussen verschillende partijen bij het ontwikkelen van sportaanbod/begeleiden van deelnemers

17 Effecten (outcome) Effecten of gevolgen van geleverde prestaties: - Kortetermijn: verandering in kennis of houding t.o.v. van bewegen - Middellangetermijn: individu gaat sporten, sportdeelname in de wijk is toegenomen - Langetermijn: verbetering van de gezondheid van inwoners in de wijk, vermindering van overgewicht bij kinderen

18 Voorbeeld doelstellingen De BSC richt, op basis van een pilot voor drie maanden, een loket in voor sport- en beweegvragen. De BSC biedt ondersteuning door te bemiddelen tussen vraag en aanbod (activiteitendoelstelling) Sport en bewegen is toegankelijk voor mensen met een beperking (prestatiedoelstelling) In gemeente X neemt het percentage kinderen (4-12 jaar) met overgewicht af van 12% in 2014 tot 10% in 2018 (effectdoelstelling). Bron: Evaluatieonderzoek Buurtsportcoaches, Van Lindert et al, 2017

19 M&E inzet BSC uitdagingen Formuleren doelen is lastig (vooral prestatie/effect) 48% formuleert doelen SMART: Resultaten op activiteiten- en prestatieniveau makkelijker meetbaar dan effecten Welke indicatoren (uitkomstmaten) gebruiken? Wat is het (unieke) effect van de BSC? -> meerwaarde 65% vindt M&E voor verbetering vatbaar Bron: Evaluatieonderzoek Buurtsportcoaches, Van Lindert et al, 2017

20 Welke uitdagingen hebben jullie bij M&E algemeen en bij het evalueren van het BSC-beleid?

21 Gewenste ondersteuning (M&E algemeen) Lightversie M&E wijzer, aangevuld met thema-artikelen, bij voorkeur digitaal en evt. in print Ondersteuning in de opzet en uitvoering van M&E van het sport- en beweegbeleid

22 Opdracht 1 Doelstellingen formuleren Voorbeelden doelstellingen sportbeleid: 1. Vergroten van sportparticipatie 2. Het aantal ouderen dat voldoet aan de beweegrichtlijnen is in % 3. In 2027 is de beweegvriendelijkheid van de stad toegenomen met 25% Voorbeelden doelstellingen inzet BSC: 1. Het verminderen van overgewicht van specifieke doelgroepen 2. Vergroten van betrokkenheid van ouders 3. De kwaliteit van het bewegingsonderwijs verbeteren 4. Vergroten van samenwerking tussen organisaties in mijn gemeente 5. Bevorderen van de leefbaarheid in de buurt of gemeente Bron: Evaluatieonderzoek Buurtsportcoaches, Van Lindert et al, 2017

23 Opdracht 2 Omzetten doelstellingen Wat wil je weten? Wat kun je meten om vast te stellen of er een verandering heeft plaatsgevonden (indicatoren)? Welke methode en meetinstrumenten ga je gebruiken (interview, vragenlijst, bestaande databron)? Bij wie haal je de informatie vandaag? Bij wie ga je meten? Wanneer ga je de informatie verzamelen?

24 Opdracht 3 Zicht op Throughput: samenwerking Neem een samenwerkingsnetwerk in de eigen situatie in gedachten (algemeen of op BSC niveau) Beantwoord de vragen op het formulier en analyseer de uitkomsten De uitkomsten zeggen iets over de sterkte van het samenwerkingsverband en wat er nog te doen is

25 Meer informatie? Linda Ooms, Mulier Instituut: Liesbeth Preller, Kenniscentrum Sport:

26 Onderzoekspanels Mulier Instituut Meld je aan voor het werkgeverspanel Meld je aan voor het buurtsportcoachpanel Door minstens één keer per jaar een aantal korte vragen te beantwoorden draag je bij aan het volgen van ontwikkelingen en ervaringen van (werkgevers van) buurtsportcoaches. Jouw mening is belangrijk!