Participatief evalueren
Participatie is van belang voor effectieve gezondheidsbevordering. Als de doelgroep wordt betrokken bij de ontwikkeling en uitvoering passen interventies en beleid beter bij hun behoeften en leefwereld, wat resulteert in succesvollere en effectievere gezondheidsbevordering [1]. Ook bij evaluatie is participatie nodig. Evaluatie moet inzicht geven in wat werkt en welke verbeteringen nodig zijn. Daarvoor zijn de ervaringen van de beoogde doelgroep essentieel. De doelgroep betrekken bij de evaluatie kan daarnaast het draagvlak voor benodigde verbeteringen vergroten [1, 2].
Het belang van participatieve evaluatie geldt ook voor de JOGG-aanpak (Gezonde Jeugd, Gezonde Toekomst, voorheen: Jongeren Op Gezond Gewicht). Dit is een integrale aanpak waarbij een netwerk van lokale partijen samenwerkt om de leefomgeving van kinderen en jongeren in een gemeente gezonder te maken, zodat ze gezond kunnen opgroeien. Een JOGG-professional (bijvoorbeeld een buurtsportcoach, welzijnswerker of beleidsmedewerker) in de gemeente heeft de taak om samen met het lokale netwerk een plan van aanpak op de gezonde omgeving te ontwikkelen, uit te voeren en te evalueren. In de evaluatie van de gezonde omgeving is het perspectief van de doelgroep (ouders en kinderen) van belang. Het gebruik van een speeltuin zal bijvoorbeeld mede beïnvloed worden door de aanwezigheid en/of het gedrag van ouders en leeftijdgenoten. Naast het verzamelen van cijfers over de gezonde omgeving is het daarom belangrijk om ook de ervaring van de fysieke omgeving en de sociale context te evalueren.
Voor JOGG-professionals bestaan op dit moment geen geschikte instrumenten om de beoogde doelgroepen (ouders en kinderen) te betrekken bij de evaluatie van de gezonde omgeving. Instrumenten om de gezonde omgeving in kaart te brengen bestaan wel, maar sluiten qua methode en focus niet goed aan. Bestaande wijk-audits zijn veelal kwantitatief, gaan uitsluitend in op fysieke aspecten van de wijk en nemen het perspectief van de doelgroep niet mee [3]. Instrumenten die de sociale context wel meenemen hebben vaak een smalle focus op slechts één aspect van de gezonde omgeving (bijvoorbeeld de Beweegvriendelijke Omgeving Scan [4]) of juist een heel brede focus (zoals de Leefplekmeter [5]). JOGG-professionals hebben daarnaast vaak niet de expertise om kwalitatieve methoden toe te passen die zich specifiek richten op het erbij betrekken van doelgroep [6, 7], zoals de photovoice-methode (een kwalitatieve methode waarin foto’s die mensen maken (bijvoorbeeld van de buurt) het uitgangspunt vormen voor een gesprek [8]).
Dit project was gericht op het ontwikkelen van een kwalitatief instrument waarmee JOGG-professionals de gezonde omgeving in een wijk kunnen evalueren, met participatie van de beoogde doelgroepen (ouders en kinderen) en netwerkpartners. Om aansluiting van het instrument bij de werkzaamheden en ondersteuningsbehoeften van de professionals te borgen [2] hebben we het instrument zelf ook participatief ontwikkeld, samen met JOGG-professionals.
Tijdens de ontwikkeling van het instrument, de Gezonde Omgeving Verkenner, hebben we verschillende lessen geleerd. Lessen over het participatief ontwikkelen van een evaluatie-instrument met gezondheidsprofessionals en over de uitdagingen die de professionals zelf ervaren bij het uitvoeren van een participatieve evaluatie. Deze lessen hebben we verzameld in notulen en logboeken tijdens de ontwikkeling en evaluatie van het instrument. In dit artikel beschrijven we onze werkwijze en delen we de geleerde lessen.
Wat is de JOGG-aanpak?
JOGG streeft ernaar de leefomgeving waarin kinderen opgroeien structureel gezonder te maken, om gezond leven zo gemakkelijk mogelijk te maken. Om de leefomgeving (thuis, buurt, school, sport, vrije tijd, werk, media) gezonder te maken wordt binnen de JOGG-aanpak een lokaal netwerk gevormd van beleidsbepalers, professionals en volwassenen die om het kind heen staan. Concrete acties worden in het JOGG-netwerk bedacht en uitgevoerd. Deze acties zijn daarom in elke gemeente anders. Voorbeelden zijn aanpassingen in de bebouwde omgeving, het opzetten van beweegactiviteiten en invoeren van voedingsbeleid op scholen. Vanaf de start wordt toegewerkt naar zelfstandige en blijvende uitvoering van de JOGG-aanpak door het lokale netwerk. Zie voor meer informatie: www.jogg.nl.
Samenwerking tussen onderzoekers en professionals
Het participatieve evaluatie-instrument is in vijf fasen ontwikkeld (zie tab. 1) door twee onderzoekers en drie JOGG-professionals. Binnen alle fasen van het ontwikkeltraject streefden we naar een samenwerking waarin iedereen een gelijkwaardige inbreng heeft en eigenaarschap ervaart over het eindproduct. Hierdoor wordt een voor iedereen waardevol traject gerealiseerd en kan een voor de praktijk bruikbaar en kwalitatief goed instrument worden ontwikkeld [9].
Tabel 1
Fasen in de ontwikkeling van de Gezonde Omgeving Verkenner (maart 2021–juni 2022)
fase | inhoud |
|---|---|
1. Werving en verkenning van verwachtingen en behoeften | JOGG-professionals zijn geworven via een oproep in de nieuwsbrief van JOGG. In een oriënterend gesprek met de professionals die zich hadden aangemeld zijn de behoeften rond evaluatie van de gezonde omgeving geïnventariseerd en verwachtingen van het project besproken |
2. Kennismaking en kaders voor ontwikkeling | Tijdens de eerste gezamenlijke kennismakingsbijeenkomst deelden onderzoekers kennis over de manier waarop een gezonde omgeving in kaart kan worden gebracht en vertelden JOGG-professionals over hun werkzaamheden en behoeften. Samen dachten ze na over de vorm en werkwijze van het instrument. Daarna hebben de onderzoekers op basis van de eerste twee bijeenkomsten kaders opgesteld voor de verdere ontwikkeling van het instrument (bijvoorbeeld belangrijkste doelen) |
3. Ontwikkeling van de inhoud van het instrument | Op basis van onderzoeksliteratuur hebben de onderzoekers vastgesteld welke elementen van de omgeving belangrijk zijn voor gezond opgroeien. In de drie deelnemende gemeenten is over deze elementen gesproken via een buurtsafari. Daarin liepen bij JOGG betrokken professionals (onder anderen buurtsportcoach, schooldirectie, jongerenwerk, buurtorganisatie) en beleidsmakers in kleine groepen door de wijk, maakten ze foto’s en gingen ze in gesprek over de gezonde omgeving |
4. Ontwikkeling van de conceptversie | Tijdens een gezamenlijke bijeenkomst met de betrokken JOGG-professionals en onderzoekers is een terugkoppeling gegeven over de derde fase. Er zijn drie door de onderzoekers ontwikkelde voorstellen voor het instrument besproken. Gezamenlijk is één voorstel gekozen, dat de onderzoekers verder hebben uitgewerkt tot een conceptversie. Deze is nogmaals aan de professionals voorgelegd, waarna hun feedback hierop is verwerkt |
5. Pilot en evaluatie | Via de JOGG-nieuwsbrief zijn nieuwe JOGG-professionals geworven voor deelname aan de pilotfase, waarin het instrument zou worden getest en geëvalueerd. In een kick-off is het instrument gepresenteerd aan zo’n dertig geïnteresseerde JOGG-professionals. In de daarop volgende maanden is ondersteuning geboden aan JOGG-professionals die het instrument wilden gaan inzetten. Om het instrument te evalueren zijn korte vragenlijsten uitgezet bij JOGG-professionals die bij de kick-off aanwezig waren (anderhalve maand en vijf maanden daarna) en zijn drie focusgroepgesprekken gevoerd met drie monitoring- en evaluatie-experts en twaalf adviseurs van de landelijke JOGG-organisatie. Focusgroepen met JOGG-professionals waren gepland, maar zijn niet uitgevoerd omdat hier onvoldoende deelnemers voor waren |
De verschillen die vaak bestaan tussen onderzoekers en professionals in bijvoorbeeld tijd, middelen, expertise, belangen en taal kunnen ertoe leiden dat het onderzoeksperspectief het praktijkperspectief overheerst [9‐11], met als gevolg dat het ontwikkelde product uiteindelijk niet goed aansluit bij de praktijk [11]. Daarom hebben we in het ontwikkelingsproces actief aandacht besteed aan het creëren van gelijkwaardige samenwerking: een samenwerking waarin het onderzoeksperspectief en het praktijkperspectief evenveel gewicht krijgen. Tijdens fasen 1 en 2 stonden kennisuitwisseling en het opbouwen van vertrouwen centraal. Daarnaast probeerden we voor de professionals tijd te creëren om het instrument mee te ontwikkelen, door hen werk uit handen te nemen. Dit deden we door hen te ondersteunen in de evaluatie van de gezonde omgeving (bijvoorbeeld het faciliteren van een buurtsafari in fase 3 en het rapporteren van de resultaten).
In de eerste vier ontwikkelingsfasen zijn de behoeften van de professionals steeds direct verwerkt in de ontwikkeling van de Gezonde Omgeving Verkenner. Om aan de behoefte aan ondersteuning bij het voeren van gesprekken met de doelgroep te voldoen zijn drie gespreksinstrumenten ontwikkeld voor de doelgroepen 1) kinderen, 2) ouders en 3) het JOGG netwerk. Elk gespreksinstrument bestaat uit een korte gesprekshandleiding en een gespreksleidraad. In deze leidraad staan bij de doelgroep passende stellingen centraal over verschillende onderdelen van de omgeving van kinderen (de woonomgeving, school, sport en thuis) en verschillende gedragsthema’s (bewegen en voeding). Het samen met de doelgroep beoordelen van elke stelling (bijvoorbeeld ‘op school kunnen we veel bewegen’) vormt het startpunt voor een gesprek. Bij elke stelling horen suggesties voor vervolgvragen.
Een bijbehorend stappenplan ondersteunt bij het toepassen van de gespreksinstrumenten. Het stappenplan gaat in op het kiezen van de relevante doelgroep, buurt en thema’s waarop de evaluatie zich zal focussen en het werven van de doelgroep. Daarnaast worden de professionals in het stappenplan meegenomen in het vervolg van de gesprekken: het analyseren, interpreteren en rapporteren van de resultaten en het vertalen daarvan naar acties.
Om het instrument breed toepasbaar te maken is de conceptversie van de Gezonde Omgeving Verkenner in fase vijf als pilot onder een bredere groep JOGG-professionals uitgezet [10]. Zo kon worden getoetst in hoeverre het instrument inzetbaar was binnen het brede werkveld van JOGG-professionals (die vaak uiteenlopende vormen van kennis en vaardigheden hebben).
Belemmeringen bij professionals om het evaluatie-instrument in te zetten
Uit de evaluatie bleek dat JOGG-professionals het waardevol vonden om de doelgroep en hun netwerk te gaan betrekken bij de evaluatie. De belangrijkste reden daarvoor was om de aanpak aan te laten sluiten bij de behoeften van deze doelgroepen. Daarnaast vonden ze het belangrijk om inzicht te krijgen in de mate waarin de acties die ze uitzetten de doelgroep bereiken en in hoe deze acties worden ervaren. De JOGG-professionals gaven aan dat het instrument een behoefte vervulde, een deel van hen wilde het tijdens de pilotfase inzetten.
Ondanks de door hen geuite interesse en de beschikbare ondersteuning heeft geen van de JOGG-professionals het instrument daadwerkelijk tijdens de pilotfase gebruikt. Daarvoor hadden ze twee redenen. Ten eerste gaven ze aan (nog) geen tijd te hebben gehad om het instrument in te zetten. Ze moesten geregeld prioriteiten stellen om hun functie binnen de beschikbare tijd uit te kunnen voeren. De doelgroep erbij betrekken ervaarden ze als tijdsintensief en dat kreeg daarom geen voorrang. Daarnaast wilden ze voorkomen dat de betrokken partners en de doelgroep overvraagd zouden worden.
Ten tweede voelde een deel van de JOGG-professionals zich onvoldoende vaardig om het instrument in te zetten. Ze gaven aan behoefte te hebben aan meer sturing binnen het instrument en extra ondersteuning, bijvoorbeeld in de vorm van training, advies of hulp.
De conclusie van de pilotfase was dat het ontwikkelde instrument onvoldoende aansloot bij de behoeften en de praktijk van de professionals (zowel de professionals die betrokken waren bij de ontwikkeling als de deelnemers aan de pilotfase). De redenen die JOGG-professionals noemden om het instrument niet in te hebben gezet waren echter al tijdens de ontwikkeling ter sprake gekomen en daarin ook meegenomen. Om bijvoorbeeld de tijdsintensiviteit te beperken waren de gespreksinstrumenten zo gemaakt dat deze in beperkte tijd (maximaal 1 uur) veel informatie ophalen.
Beschouwing
De deelname van JOGG-professionals aan het ontwikkelproces had als belangrijk voordeel dat ondersteuningsbehoeften en ideeën van de professionals direct konden worden meegenomen en ingepast in het instrument, zodat dit kon worden afgestemd op de taal en werkwijze van de JOGG-professionals. Uiteindelijk bleek het instrument echter toch niet goed te passen bij de behoeften van de professionals. In de beschouwing van het ontwikkelproces gaan we dieper in op hoe dat kan en de lessen die daaruit zijn geleerd.
Lessen uit het participatieve ontwikkelproces
De samenwerking tussen onderzoekers en professionals bracht uitdagingen met zich mee en raakte daarom gedurende het proces uit balans. De eerste uitdaging was het verschil in beschikbare tijd. De JOGG-professionals investeerden eigen tijd in de ontwikkeling en waren daardoor niet in staat om gelijkwaardig op te trekken met de onderzoekers, voor wie de ontwikkeling van het instrument onderdeel van hun werkzaamheden was. De tegemoetkoming voor de professionals in de vorm van ondersteuning was onvoldoende om dit verschil te compenseren. Vanwege tijdsdruk gingen de onderzoekers steeds meer richting geven, terwijl de professionals meer in een advies- en feedbackrol terechtkwamen. Zo werden aan het begin van het traject gezamenlijke beslissingen genomen, bijvoorbeeld over vorm van en werkwijze in het instrument. Later deden de onderzoekers voorstellen waarbij de professionals konden kiezen. De uiteindelijke conceptversie werd volledig door de onderzoekers uitgewerkt, die vervolgens feedback vroegen aan de JOGG-professionals. Hoewel verschillen in tijdsinvestering geen probleem hoeven te zijn, was dat in dit geval wel het geval, omdat de professionals hierdoor steeds minder eigenaarschap over het project ervaarden, steeds minder het gevoel hadden dat ze iets konden bijdragen en steeds meer overlieten aan de onderzoekers.
De tweede uitdaging vormde het verschil in expertise. Hoewel in dit project juist de praktijkervaring en onderzoekservaring samen moesten komen, bleek dat de JOGG-professionals vooral naar de onderzoekers keken als de experts die wisten hoe een goed instrument eruitzag. De onderzoekers pakten deze rol vervolgens ook en namen gedurende het proces steeds vaker de eindbeslissingen, terwijl dit in het begin juist zorgvuldig in samenspraak werd gedaan. Het werkte extra nadelig dat de onderzoekers de professionals, om hen werk uit handen te nemen, ondersteunden bij de evaluatie van de gezonde omgeving, omdat dit juist de expertise van onderzoekers centraal zette.
De ongelijke inbreng van tijd en expertise, en de manier waarop onderzoekers daardoor steeds meer gingen sturen leidden ertoe dat dat de stem van de professionals gedurende de ontwikkeling steeds kleiner werd en ze steeds minder eigenaarschap ervaarden over het eindproduct. Ondanks de intentie van een gelijkwaardige samenwerking had het onderzoeksperspectief door deze uitdagingen in het gehele proces waarschijnlijk meer gewicht dan het praktijkperspectief. Dit kan verklaren dat de behoeften van professionals die wel ter sprake waren gekomen in de eerste fasen van de ontwikkeling uiteindelijk niet voldoende in het instrument zijn verwerkt (zo is het instrument bijvoorbeeld nog steeds te tijdsintensief).
Een belangrijke les uit dit ontwikkelingsproces is om (zowel vooraf als gedurende het proces) goed na te denken over de manier waarop expertise uit onderzoek en expertise uit de praktijk een gelijkwaardige inbreng krijgen in het project. Om dit te waarborgen moet een concreet plan worden opgesteld. Het is belangrijk om voor iedereen voldoende tijd en middelen te realiseren om gelijkwaardig aan het proces deel te kunnen nemen, bijvoorbeeld door de tijdsinvestering in een planning vast te leggen, de uren te vergoeden en afspraken te maken over verantwoordelijkheden en besluitvorming binnen het project [9]. Belangrijker nog is het om gedurende het hele proces voldoende aandacht te besteden aan het creëren van een relatie, vertrouwen en gedeeld eigenaarschap, omdat juist deze elementen essentieel zijn voor het waarborgen van een gelijkwaardige samenwerking [9]. Ten slotte is het belangrijk om de samenwerking gedurende het project te blijven monitoren en waar nodig aan te passen [9].
Lessen over participatief evalueren door professionals
In lijn met eerder onderzoek naar burgerparticipatie [7] was de tijdsintensiviteit van participatieve evaluatie de belangrijkste belemmering voor JOGG-professionals om het instrument in te zetten. Hoewel ze wel participatief wilden evalueren, bleken JOGG-professionals hier binnen hun werkzaamheden toch geen ruimte voor te kunnen of willen maken.
Tijdens de ontwikkeling van het instrument kwam hiervoor een aantal mogelijke verklaringen naar voren. Een eerste is te vinden in de context waarin JOGG-professionals werken. Eerder onderzoek naar participatie in beleid en evaluatie laat zien dat het voor professionals een belangrijke belemmering is dat bestuurders vooral focussen op effectevaluatie en het belang van participatie niet altijd inzien [6, 7]. De JOGG-professionals ervaarden dit ook. Ze gaven aan dat ze in hun verantwoording naar de gemeente met name kwantitatieve evaluatievormen moesten gebruiken, bijvoorbeeld cijfers vanuit een vragenlijst waarin een representatieve groep was bevraagd. De focus lag daarbij vooral op het effect of succes van de aanpak op kindniveau (bijvoorbeeld of kinderen meer bewegen), en niet zozeer op output op de gezonde omgeving of leren voor doorontwikkeling.
Daarnaast twijfelden de JOGG-professionals zelf soms aan de waarde van de resultaten van participatieve evaluatie. Ze trokken de representativiteit en bruikbaarheid van de resultaten van participatieve evaluatie in twijfel. Zo vroegen ze zich af in hoeverre ze met het instrument de juiste doelgroep zouden bereiken (bijvoorbeeld alleen actieve ouders). Ook betwijfelden ze of ze op basis van een kleine groep wel conclusies konden trekken over hun aanpak, omdat andere ouders/kinderen misschien andere ervaringen zouden hebben dan de kleine groep deelnemers. Ze vonden het een risico om hun aanpak op basis van enkele gesprekken verder te ontwikkelen. Participatieve evaluatie werd dus niet als essentieel gezien voor de evaluatie en doorontwikkeling van de JOGG-aanpak in de gemeente, ook al vonden de professionals het wel waardevol om de doelgroep er vaker bij te betrekken.
Een belangrijke les is dat er voor het faciliteren van participatieve evaluatie meer nodig is dan een instrument voor JOGG-professionals waarmee ze een dergelijke evaluatie kunnen uitvoeren. Het is essentieel dat de context waarin de professionals werken deze manier van evalueren ook faciliteert. Daarvoor is een cultuur nodig waarin zowel de professionals als degenen aan wie ze zich moeten verantwoorden waarde hechten aan deze manier van evalueren. Ze moeten begrijpen wanneer je participatieve evaluatie inzet en waarom het belangrijk is om de doelgroep daarbij te betrekken. Daarnaast is professionalisering nodig, zodat professionals begrijpen hoe ze participatieve evaluatie kunnen toepassen. Pas dan kunnen ze daadwerkelijk voldoende prioriteit geven aan het betrekken van hun doelgroep bij de evaluatie. Als onderdeel van de context waarin JOGG-professionals werken zou de JOGG-organisatie participatieve evaluatie bijvoorbeeld kunnen faciliteren door deze als vast onderdeel van de JOGG-aanpak op te nemen en er ondersteuning bij te bieden (in de vorm van hulp of training).
Conclusie
Participatieve methoden brengen veel uitdagingen met zich mee, zowel voor onderzoekers als professionals. Ondanks uitdagingen in de samenwerking met professionals bij het ontwikkelen van het evaluatie-instrument werd inzicht verkregen in de uitdagingen en behoeften van professionals bij participatieve evaluatie. Een belangrijke les was dat niet alleen een geschikt instrument, maar ook een aantal randvoorwaarden essentieel is om de doelgroep bij de evaluatie te kunnen betrekken. Professionals dienen het belang van participatieve evaluatie en de toepassing ervan te begrijpen. Daarvoor is professionalisering nodig. Belangrijker nog is dat het in de context waarin professionals werken mogelijk wordt gemaakt om de doelgroep erbij te betrekken. Professionals ervaren de ruimte daarvoor nu vaak niet (bijvoorbeeld bij degenen aan wie ze zich moeten verantwoorden). Dit resulteert in een beperkte tijdsinvestering in het erbij betrekken van de doelgroep. Zonder participatieve evaluatie blijft onduidelijk of de aanpak voldoende aansluit bij de behoeften van de doelgroep en blijven kansen om de aanpak gezamenlijk te verbeteren onbenut. Dat professionals participatie in bredere zin zelf wel waardevol vinden is een belangrijke eerste stap naar meer participatieve evaluatie.
Financiering
De ontwikkeling van de Gezonde Omgeving Verkenner was onderdeel van een evaluatieonderzoek naar de JOGG-aanpak, gefinancierd door JOGG.
Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.