Meten = (z)weten! Een stappenplan | Alles over sport

Meten = (z)weten! Een stappenplan

Artikel

geplaatst op: 7 juli 2016

Monitoren en evalueren van je resultaten; belangrijk maar niet gemakkelijk. Kenniscentrum Sport heeft daarom een handleiding laten ontwikkelen voor de monitoring en evaluatie van projecten en interventies die zich richten op kinderen met (risico op) overgewicht. Dit artikel biedt een samenvatting van de stappen en tips die handig zijn voordat je met de handleiding ‘Monitoring en evaluatie bij leefstijlinterventies’ verder de diepte in gaat.

Keuzes maken

Start altijd met het maken van een aantal afwegingen en keuzes bij het uitdenken van je monitoring en evaluatie plan (M&E- plan), zodat je een evaluatie opzet die past bij de daadwerkelijke mogelijkheden. Voor een wetenschappelijke effectstudie zijn in de praktijk vaak te weinig deelnemers, mankracht, kennis, geld en tijd aanwezig. Zo een studie is daarmee vaak niet realistisch, maar vaak ook niet nodig. Houd rekening met de lokale situatie en de doelen van je project bij het uitdenken van een realistisch M&E- plan.

Keuze diagram leefstijlinterventies: hoe pak je het aan?

Het volgende diagram maakt op een eenvoudige wijze duidelijk welke keuzes je dient te maken.

In de rest van dit artikel worden de keuzes uit bovenstaand diagram kort besproken en toegelicht aan de hand van de volgende casus.

1. Doelen

Uitgangspunt van je plan zijn je doelen die weergeven welke gewenste situatie je wil bereiken. Probeer deze zo SMART (specifiek, meetbaar, acceptabel, realistisch, tijdgebonden) mogelijk te maken. Het hoofddoel is wat je met het gehele project wil bereiken; subdoelen krijg je door het hoofddoel op te delen in onderdelen die gedaan moet worden om het hoofddoel te bereiken.

Voor meer informatie over niveaus van doelen en samenhang van activiteiten zie figuur 8 op pagina 7 in de handleiding monitoring en evaluatie bij leefstijlinterventies of doelen formuleren op de site van Loket Gezond Leven.

Voorbeelden van doelstellingen voor preventie van overgewicht vind je in het themadeel ‘overgewicht’ van Loket Gezond Leven.

2. Effect- of procesevaluatie?

Monitoring

Monitoring vormt een belangrijk onderdeel van je evaluatie. Beiden worden vaak in één adem genoemd, maar betekenen niet hetzelfde. Monitoren is het bijhouden van belangrijke gegevens, zoals cijfers over aantal deelnemers aan activiteiten, op verschillende momenten. Het doel is om inzicht te krijgen in de voortgang van de activiteiten en resultaten. Knelpunten worden gesignaleerd en een eventuele koerswijziging kan tijdig worden ingezet. Bij evaluatie kun je onderscheid maken tussen een proces- en een effectevaluatie.

Procesevaluatie

Een procesevaluatie geeft inzicht in de onderliggende processen, in de realisatie van het project: is het uitgevoerd volgens plan en wat zijn de sterke en zwakke punten in de uitvoering? Deze inzichten kunnen gebruikt worden ter verbetering van de gekozen aanpak. Het kan uitgevoerd worden op het niveau van deelnemers, uitvoerders/professionals en op het niveau van de projectgroep. Het geeft vaak antwoord op de ‘waarom’ vraag, zoals ‘waarom verliep de werving zo stroef?’

Voor een procesevaluatie kun je meerdere meetmomenten kiezen. Voor aanvang van het project kun je bijvoorbeeld inzicht krijgen in waarom deelnemers deelnemen en wat ze verwachten. Gedurende de aanpak kun je peilen waar de kinderen en ouders behoefte aan hebben. Wat hebben zij nodig om meer te gaan bewegen of waar willen zij meer informatie over hebben? Door deelnemers achteraf te bevragen over de aanpak kan in onze casus bijvoorbeeld blijken dat één van de workshops geen toegevoegde waarde heeft. Je kan er dan voor kiezen om voor de volgende groep deelnemers de workshop te verbeteren of te vervangen.

Effectevaluatie

Met een effectevaluatie wordt gekeken naar de gewenste opbrengsten (effecten) van een project: ‘zijn de doelen behaald en wat zijn neveneffecten van het project?’ ‘Wat heeft de gezamenlijke inspanning opgeleverd?’ Hiervoor is het belangrijk dat er een beeld is van de beginsituatie. Voorafgaand aan de start van het project dient daarom een beginmeting in de einddoelgroep ‘kinderen met overgewicht’ (0-meting) gerealiseerd te worden. Vaak wordt ook een tussenmeting (1-meting) uitgevoerd, maar in ieder geval een eindmeting na afronding van het project. De veranderingen tussen de metingen zijn de effecten. Belangrijk is dat bij de verschillende metingen de vragen of meetmethode hetzelfde zijn.

Het aan te tonen effect is onder andere afhankelijk van het doel van het project (welk effect wil je bereiken met jouw aanpak), de aanpak zelf (methode en intensiteit) en de projectduur. Voor projecten met een korte projectduur gaat het vaak om voorboden van de bedoelde effecten op lange termijn.

Om goed inzicht te krijgen in of je doelen zijn behaald en in de uitvoering van je aanpak is het raadzaam om zowel een effect- als een procesevaluatie in kleinere of grotere vorm te doen.

3. Instrument

De volgende stap is het kiezen van je meetinstrument. Welke instrumenten je kiest hangt af van de doelen van je project. Beslissingen die je neemt bij deze keuzes zijn:

Kwantitatief of kwalitatief?

Je kunt kiezen voor kwalitatieve methoden, zoals een interview, een focusgroepgesprek of een observatie- onderzoek. Voor een interview kies je bijvoorbeeld als je persoonlijke drijfveren wil achterhalen of wil doorvragen naar specifieke ideeën van een deelnemer of professional in bijvoorbeeld een procesevaluatie. Hieruit kunnen aanbevelingen komen om jouw aanpak te verbeteren. Een interview geeft de mogelijkheid om af te wijken van de vragen en door te vragen op antwoorden. Hiermee krijg je meer gedetailleerde informatie. De handleiding kwalitatief onderzoek licht dit verder toe en helpt je bij het opzetten van bijvoorbeeld een interview.

Bij kwantitatieve methoden gaat het om bijvoorbeeld een vragenlijst. Is een doel een gezonder gewicht van de kinderen, dan kun je dit kwantitatief meten door lengte en gewicht in kaart te brengen: body mass index. Voor het evalueren van doelen gericht op uithoudingsvermogen en motorische vaardigheden bestaan specifieke testen. In hoofdstuk 5 uit de handleiding monitoring en evaluatie bij leefstijlinterventies lees je hier meer over. Kijk op pagina 3 van dezelfde handleiding voor goede en handige vragenlijsten voor de doelgroep kinderen met overgewicht. Klik door door middel van de hyperlinks. Kenniscentrum Sport heeft daarnaast vragenlijsten die als voorbeeld kunnen dienen verzameld in het Evaluatie Kompas.

Onderstaand schema helpt bij het kiezen van je methode.

Kwalitatief Kwantitatief
Waarom? (vaak procesevaluatie) Wat? (vaak effectevaluatie)
Explorerend Verklarend
Inzicht in gedragingen, motivaties, meningen, wensen en behoeften Antwoorden op vragen die in hoeveelheden kunnen worden uitgedrukt
Kan ingezet worden om de doelgroep zelf mee te laten denken over het project (aanbevelingen voor verbeteringen bijvoorbeeld) Evalueren interventie; meten gedragsveranderingen
Resultaten niet statistisch representatief (gelden bijvoorbeeld niet voor alle kinderen met overgewicht) Grote groepen mensen om statistisch betrouwbare en representatieve uitspraken te doen
Mogelijkheid tot doorvragen; diepgang Mogelijkheid tot anonimiteit
Gedetailleerde informatie (vaker ook citaten) Resultaten vaak weergegeven in tabellen, grafieken en percentages (cijfers)
Minder mensen bereiken met relatief meer tijd en kosten Veel mensen bereiken met relatief weinig tijd en kosten

Objectief of subjectief/ zelfrapportage?

Een ander beslissing die je dient te nemen bij de keuze voor instrumenten is of je wil gaan voor objectieve metingen of voor zelfrapportage om sport-, beweeg en voedingsgedrag te meten (Brug, Assema & Lechner, 2007).

Handleiding Monitoring en evaluatie bij leefstijlinterventies

Met dit artikel is inzichtelijk gemaakt waar over nagedacht dient te worden bij het opstellen van je M&E plan. Wil je hier meer mee en daadwerkelijk aan de slag, dan is het inschakelen van een M&E expert of de handleiding monitoring en evaluatie bij leefstijlinterventies je volgende stap.

Te Velde Research & Consultancy heeft de handleiding ‘Monitoring en evaluatie bij leefstijlinterventies’ in opdracht van Kenniscentrum Sport, mede voor het programma Sport en Bewegen in de Buurt geschreven.

De handleiding geeft aan de hand van een stroomdiagram stap voor stap weer hoe projecten en interventies geëvalueerd kunnen worden. Het is opgebouwd met een algemene inleiding (hoofdstuk 3) over gedragsverandering (theorieën en determinanten van gedrag) ten behoeve van overgewichtspreventie en – behandeling. Vervolgens wordt dieper ingegaan op monitoring en evaluatie (hoofdstuk 4). Daarna volgen hoofdstukken die specifiek over bepaalde onderdelen in de evaluatie gaan. In hoofdstuk 6 staat beschreven hoe je de gevonden gegevens goed in een database verzameld, kunt analyseren en rapporteren.

De lezer kan zich met behulp van de handleiding specifiek richten op de hoofdstukken die voor hem/ haar relevant zijn. De handleiding beschrijft de M&E van projecten die zich richten op kinderen met (risico op) overgewicht, maar is ook bruikbaar voor andere sport- en beweegprojecten.

Bronnen

Alles over sport (2016). Monitoren meet het effect van je project. Geraadpleegd op 15 april 2016, van https://www.allesoversport.nl/artikel/monitoren-meet-het-effect-van-je-project/

Brug, J., Assema, P. V. & Lechner, L. (2012). Gezondheidsvoorlichting en gedragsverandering: een planmatige aanpak. Assen: Uitgeverij Van Gorcum

Hoyng, J. & Bisseling, R., (2009). Monitoring- en evaluatiewijzer sport- en beweegbeleid. Bennekom: Nederlands Instituut voor Sport en Bewegen (NISB).

 

Met dank aan de bijdrage van Michelle Brouwhuis (stagiair bij Kenniscentrum Sport).

Auteurs:

Femke van Brussel-Visser
Kenniscentrum Sport
Rebecca Beck
Kenniscentrum Sport

Bewaren:

Bewaren

Gerelateerde artikelen

Anderen bekeken ook