In dit artikel bespreken we op welke wijze het model van Jolley voor de planning, implementatie en evaluatie van complexe lokale gezondheidsprogramma’s is toegepast bij een evaluatieonderzoek naar de lokale implementatie van de Brede Impuls Combinatiefuncties (BIC). Met de BIC konden gemeenten met cofinanciering van het rijk lokaal buurtsportcoaches aanstellen. Gemeenten hadden de vrijheid de buurtsportcoaches in te zetten, passend bij de lokale situatie. Door de grote lokale verschillen die hierdoor ontstonden was het niet goed mogelijk een traditionele vorm van evaluatie, zoals een effectonderzoek, toe te passen. Op basis van het model van Jolley hielden de onderzoekers rekening met de implementatie van de BIC op meerdere niveaus (macro, meso, micro), het belang van terugkoppeling tussen en binnen de niveaus, de verschillende perspectieven van betrokkenen en de invloed van de lokale context op de implementatie van de BIC. We reflecteren op de wijze waarop de onderliggende principes van het model van Jolley hebben geholpen dit grootschalige evaluatieonderzoek uit te voeren. Ondanks enkele concessies aan de uitgangspunten van Jolley blijkt het model grotendeels geschikt voor de evaluatie van een complex programma als de BIC.
Inleiding
In 2016 en 2017 heeft het Mulier Instituut in samenwerking met acht sportkundeopleidingen met subsidie van het ministerie van Volksgezondheid, Welzijn en Sport (VWS) evaluatieonderzoek uitgevoerd naar de toenmalige Brede Impuls Combinatiefuncties (in het vervolg aangeduid als BIC) [1]. Deze regeling maakt met cofinanciering van de rijksoverheid de lokale inzet van buurtsportcoaches mogelijk. Buurtsportcoaches hebben de opdracht om passend sport- en beweegaanbod in de buurt te organiseren en verbindingen te maken tussen sport- en beweegaanbieders en organisaties uit andere sectoren, zoals zorg, welzijn, kinderopvang en het bedrijfsleven. Het evaluatieonderzoek had tot doel inzicht te krijgen in de manier waarop gemeenten en hun lokale partners de BIC hadden geïmplementeerd, wat de lokale resultaten waren en welke factoren hierbij een rol speelden. De aanleiding hiervoor was de behoefte vanuit beleid en politiek om zicht te krijgen op de landelijke impact van de regeling.
Sinds de start van de regeling is op diverse manieren getracht de inzet van buurtsportcoaches te volgen en te meten. Dit bleek steeds een lastige opgave, vooral wat betreft de effecten [2]. Traditionele manieren van evaluatie, zoals een effectmeting, leverden niet het gewenste resultaat op [3]. De grote verschillen in gemeentelijke inzet van buurtsportcoaches zorgden voor een variëteit aan lokale uitkomsten. Dit maakte het meten van effecten op basis van een uniforme uitkomstmaat onmogelijk. De lokale verschillen zijn te verklaren vanuit het streven van het rijk om via de BIC gemeenten te stimuleren lokaal maatwerk te leveren. De gedachte daarachter is dat het een lokale verantwoordelijkheid is om een passend sport- en beweegaanbod te realiseren en dat dit dicht op de burger moet worden georganiseerd [4].
Dat betekende dat de onderzoekers op zoek moesten naar een evaluatiemethode die recht zou doen aan deze grote lokale verschillen. Het conceptuele model voor de planning, implementatie en evaluatie van lokale gezondheidsprogramma’s van Jolley [5] bleek goede aanknopingspunten te bieden. Jolley ontwikkelde haar model namelijk voor de evaluatie van complexe gezondheidsprogramma’s die in lokale settingen worden uitgevoerd. Een complex gezondheidsprogramma heeft de volgende kenmerken [5, 6]:
Het programma streeft veranderingen na in een hele organisatie of gemeenschap (bijvoorbeeld een wijk).
Er is sprake van betrokkenheid van en complexe interactie tussen verschillende sectoren, personen en organisaties, met elk hun eigen perspectieven en (deel)belangen.
De ideeën, voorkeuren en behoeften van de diverse betrokkenen zijn voortdurend aan verandering onderhevig, net als de maatschappelijke en politieke omgeving waarin het programma wordt uitgevoerd. Dat betekent dat de doelen van het beleid niet vaststaan, maar door de tijd heen veranderen.
Vaak is er sprake van langetermijndoelen, verschillende programmaonderdelen of interventies en uiteenlopende uitkomsten op diverse niveaus [5].
Lokale contexten en settingen verschillen onderling. Allerlei factoren in een lokale setting beïnvloeden het implementatieproces en het uiteindelijke resultaat. De gedachte dat een programma of interventie in een lokale setting precies zo kan worden uitgevoerd als de bedenker heeft bedoeld, gaat daarmee niet op.
Al deze elementen samen vormen een complex en dynamisch systeem. De interactie tussen de afzonderlijke elementen in het systeem kunnen tot onverwachte resultaten leiden. Dat betekent volgens Jolley dat complexe programma’s een emergent karakter hebben, wat wil zeggen dat resultaten van tevoren niet te voorspellen zijn.
Hoewel de BIC een sport- en beweegprogramma is, heeft het wel alle genoemde kenmerken van een complex gezondheidsprogramma. Ook hier is sprake van betrokkenheid van en interactie tussen een veelheid aan betrokkenen op verschillende niveaus. De wijze waarop zij de regeling op de verschillende niveaus interpreteren en uitvoeren heeft invloed op het uiteindelijke resultaat. De beleidsvrijheid die gemeenten en buurtsportcoaches ervaren om de BIC op eigen wijze in te vullen zorgt voor een grote variëteit in de lokale uitvoering. Gezien het complexe en emergente karakter van de BIC had het weinig zin het programma aan een klassieke evaluatie te onderwerpen. Klassieke vormen van evalueren hebben tot doel vast te stellen of en in welke mate doelstellingen zijn gerealiseerd en in hoeverre de waargenomen effecten aan de interventie toe te schrijven zijn. Om dit goed te kunnen doen, moeten doelen vooraf helder zijn omschreven en dient een programmatheorie te zijn geformuleerd over de veronderstelde samenhang tussen doelen, aanpak en effecten [7‐9]. Bij complexe vraagstukken zijn de probleemdefinitie, de beïnvloedende factoren en de gewenste oplossingen niet altijd duidelijk. Bij beleidsprogramma’s die hierop aangrijpen, zoals in dit voorbeeld de BIC, ontbreken vaak vooraf helder omschreven doelstellingen en een duidelijke programmatheorie over de veronderstelde samenhang tussen doelen, aanpak en effecten.
Om bij het evalueren van complexe gezondheidsprogramma’s rekening te houden met onverwachte effecten maakt Jolley gebruik van de uitgangspunten van het systeemdenken en de complexiteitstheorie. Complexe systemen zijn continu aan het veranderen doordat de afzonderlijke elementen zich voortdurend aan elkaar en hun omgeving aanpassen. Causale relaties hebben vaak een non-lineair karakter. Bij complexe interventies is het daarom dikwijls lastig te bepalen wat nu oorzaak is en wat gevolg. De dynamiek van dergelijke systemen is dan ook niet te begrijpen als de som der delen, maar alleen vanuit de onderlinge interacties tussen de componenten van het systeem en hun omgeving [10‐15]. Een interventie is volgens deze benadering te beschouwen als ‘een poging om de dynamiek van een systeem te veranderen’ [16]. Dat wil zeggen dat een interventie erop gericht is de onderlinge relaties tussen de componenten van het systeem en de wijze waarop deze met elkaar interacteren te beïnvloeden, in de hoop dat dit tot veranderingen in de goede richting leidt [17]. De uitkomst hiervan is zoals gezegd niet precies te voorspellen. Bij de evaluatie moet daarom aandacht zijn voor (de wisselwerking tussen) verschillende factoren die invloed kunnen hebben op het resultaat. Dit vraagt volgens Jolley om een meer ‘holistische’ benadering van evalueren.
Om hieraan tegemoet te komen integreert Jolley in haar model verschillende evaluatiebenaderingen, te weten: ontwerpgericht evalueren (developmental evaluation), realistisch evalueren, theoriegebaseerd evalueren en participatief evalueren. Ze bouwt in de eerste plaats voort op ontwerpgericht evalueren [8, 11], dat uitgaat van de complexiteitstheorie. Bij ontwerpgericht evalueren worden ontwikkelingen gevolgd op het moment dat deze plaatsvinden, waardoor (ex durante) evaluatie de ontwikkeling van een programma ondersteunt (learning by doing). Dit procesmatige karakter brengt veranderingen in beeld, en laat zien waar beleid voortbouwt op eerder behaalde resultaten en zich aanpast aan dynamische omgevingen. Bij realistisch evalueren is er aandacht voor het belang van de context waarin het programma wordt uitgevoerd (wat werkt voor wie onder welke omstandigheden?) [18]. Bij theoriegebaseerd evalueren wordt gekeken naar de veronderstellingen of theorieën (als-danredeneringen) waarop een programma is gebouwd [19‐21]. Bij participatieve vormen van evalueren staat ten slotte de dialoog met en tussen betrokkenen en belanghebbenden op diverse niveaus centraal [22, 23].
De uitgangspunten van deze verschillende evaluatiebenaderingen vormen de bouwstenen van het model dat wij op basis van Jolley hebben gebruikt voor de evaluatie van de BIC:
1.
Om een meer holistisch beeld te kunnen krijgen van de (wisselwerking tussen de) verschillende componenten is een onderscheid naar implementatieniveaus gemaakt.
2.
Ontwerpgericht evalueren betekent dat evaluatie een integraal onderdeel is van het ontwerp- en implementatieproces.
3.
Theoriegebaseerd evalueren benadrukt bij de evaluatie de rol van kennis, programmatheorieën en logische modellen.
4.
Bij realistisch evalueren is er aandacht voor de context (factoren die het implementatieproces beïnvloeden).
5.
Participatieve evaluatie betekent dat het van belang is de diverse stakeholders actief bij de evaluatie te betrekken.
In dit artikel gaan we in op de vraag in welke mate het model van Jolley bruikbaar is voor de evaluatie van de BIC. De onderzoeksvragen zijn: 1) Op welke wijze hebben we de verschillende bouwstenen van het model van Jolley in het evaluatieonderzoek van de BIC toegepast? 2) Wat waren de sterke en de zwakke punten van de toepassing van de verschillende bouwstenen bij de evaluatie van de BIC? Doel is te onderzoeken wat we achteraf kunnen leren van de toepassing van de uitgangspunten en bouwstenen van het model, en welke lessen we hieruit kunnen trekken voor toekomstig onderzoek naar de implementatie en resultaten van programma’s of beleidsvraagstukken met een complex karakter. In de literatuur zijn maar weinig voorbeelden beschikbaar van de wijze waarop evaluatieonderzoek vanuit een systeembenadering en complexiteitstheorie kan worden opgezet en van factoren waar onderzoekers bij de uitvoering rekening mee moeten houden [16]. Het model van Jolley vormt hierop een uitzondering. Daarom is het belangrijk om te bekijken in hoeverre dit model praktische handvatten biedt voor de evaluatie van complexe (gezondheids)programma’s.
Methode
We hebben in retrospectie een analyse uitgevoerd van de wijze waarop in het ontwerp van het onderzoek uitgangspunten en bouwstenen van het model van Jolley zijn verwerkt en van de manier waarop het onderzoek uiteindelijk is uitgevoerd. Hiervoor hebben we systematisch de bouwstenen en onderliggende theoretische uitgangpunten van het model van Jolley ontleed en per bouwsteen beschreven hoe we die hebben toegepast bij het evaluatieonderzoek naar de BIC. Daarbij zijn we nagegaan wat het onderzoeksontwerp heeft betekend voor het verkrijgen van inzicht in de (verwachte en onverwachte) opbrengsten van de BIC op de verschillende niveaus. Dit hebben we gedaan door onszelf steeds de volgende vraag te stellen: hebben we met het gehanteerde onderzoeksontwerp andere opbrengsten en factoren voor het voetlicht gekregen, dan wanneer we een klassieke benadering van evaluatie hadden gehanteerd? Ten slotte hebben we in onderling overleg voor iedere bouwsteen de sterke en zwakke punten bepaald van de wijze waarop het model is toegepast in de evaluatie van de BIC.
Voor deze analyse hebben we tevens een thematisch literatuuronderzoek verricht naar het evalueren van beleidsprogramma’s op basis van systeemdenken en complexiteitstheorie [13]. Deze benadering geniet de laatste jaren veel belangstelling. Onderzoek van recente literatuur heeft ons geholpen inzicht te krijgen in de theoretische uitgangpunten van het model van Jolley en de mogelijkheden (en knelpunten) van het evalueren van complexe beleidsprogramma’s. De literatuur bood ook inzicht in de voordelen van op systeemdenken en complexiteitstheorie gebaseerde methoden, ten opzichte van traditionele wijzen van evaluatieonderzoek. Hierdoor zijn we in staat geweest kritisch te reflecteren op ons eigen onderzoek.
Resultaten
In het eerste deel van dit artikel beschrijven we de wijze waarop we de verschillende bouwstenen van het model van Jolley in het evaluatieonderzoek van de BIC hebben toegepast (onderzoeksvraag 1). In het tweede deel beschrijven we de sterke en de zwakke punten van de toepassing van de verschillende bouwstenen bij de evaluatie van de BIC (onderzoeksvraag 2). We geven daarbij als gedachte-experiment voor zover mogelijk per bouwsteen aan wat deze toepassing opleverde in vergelijking met een klassieke vorm van beleidsevaluatie.
Toepassing van het model van Jolley
Op basis van de inzichten van Jolley en de theorieën die zij in haar model heeft verwerkt, hebben Van Lindert et al. een eigen onderzoeksmodel ontwikkeld voor de evaluatie van de BIC (zie fig. 1; [1]). Jolley’s oorspronkelijke model is aangepast aan de realiteit van de casus, de BIC.
Figuur 1
Conceptueel model voor de evaluatie van de Brede Impuls Combinatiefuncties. Bron: Jolley [5], bewerking door het Mulier Instituut [1]
×
Het model voor de evaluatie van de BIC is gebaseerd op een aantal uitgangspunten:
1.
een onderscheid naar implementatieniveaus;
2.
de rol van de evaluatie als integraal onderdeel van het implementatieproces;
3.
de rol van kennis, programmatheorieën en logische modellen bij de evaluatie;
4.
aandacht voor de context: factoren die het implementatieproces beïnvloeden;
5.
het belang van het betrekken van de diverse stakeholders.
Deze uitgangspunten vormen de bouwstenen van het model voor de evaluatie van de BIC en zijn leidend geweest bij de keuze van de gebruikte onderzoeksmethoden en -instrumenten. Hieronder lichten we deze bouwstenen toe, waarbij we per bouwsteen aangeven hoe deze in het evaluatieonderzoek naar de BIC is toegepast (onderzoeksvraag 1). We geven daarbij voorbeelden van resultaten uit het onderzoek, om te laten zien hoe de toepassing van de bouwstenen een bepaald inzicht in de opbrengsten van de BIC opleverde.
Onderscheid naar implementatieniveaus
In het evaluatieonderzoek naar de inzet van buurtsportcoaches is onderscheid gemaakt naar drie niveaus waarop de BIC wordt vormgegeven en geïmplementeerd: macro-, meso- en microniveau. Onder macroniveau verstaan we het niveau van de rijksoverheid en haar landelijke beleidspartners. Op dit niveau vinden de vormgeving en coördinatie van het landelijk beleidsinstrument BIC plaats. Het mesoniveau is de essentiële tussenlaag van intermediairs op het niveau van de gemeentelijke organisatie en haar lokale partners die de landelijke impuls lokaal inhoud geven en tot uitvoering brengen. Onder microniveau vallen in ons model de buurtsportcoaches (en andere bij de uitvoering betrokken professionals en vrijwilligers). Dit niveau heeft betrekking op de professionele praktijk, waar de daadwerkelijke implementatie door buurtsportcoaches plaatsvindt op het niveau van de einddoelgroepen. De buurtsportcoach is de schakel tussen het meso- (beleid) en microniveau (praktijk), legt verbindingen tussen organisaties en de doelgroep. Jolley gebruikt in haar model alleen het macro- en microniveau. Wat zij verstaat onder microniveau, de lokale actoren inclusief de uitvoerend professionals, hebben wij onderverdeeld in meso- (gemeente) en microniveau (uitvoerende professionals).
Op macroniveau is onderzocht hoe de BIC tot stand is gekomen, wat de achterliggende gedachte ervan is (de zogenaamde programmatheorie) en welke veranderingen in de regeling in de loop der tijd hebben plaatsgevonden. Hiervoor is desk- en literatuuronderzoek uitgevoerd. Specifiek zijn beleidsstukken, kamerbrieven en beleidsevaluaties van voorgaande rijksregelingen voor sport en bewegen onderzocht en is gekeken naar ander beleid waarbij zoals bij de BIC sprake is van een vorm van decentralisatie, zoals de Wet maatschappelijke ondersteuning [24]. Ook is een interview afgenomen met drie beleidsmedewerkers van het ministerie van VWS, van wie twee de aanloopfase van de BIC hebben meegemaakt en een het huidige beleid vormgeeft.
Op mesoniveau is onderzocht hoe gemeenten en lokale partners de BIC hebben geïmplementeerd. Daarbij is doorgevraagd op een aantal lokale kenmerken van de BIC, zoals aard van de doelstellingen, soort en omvang van de betrokken partijen, de organisatie van de cofinanciering en het werkgeverschap, de regierol van de gemeente en de mate en wijze van monitoring en evaluatie van de lokale inzet. Hiervoor is een enquête uitgezet onder gemeenteambtenaren sport van alle gemeenten die deelnamen aan de BIC (n = 249) en zijn op basis daarvan casegemeenten (n = 34) geselecteerd voor verdiepend onderzoek. Dit bestond uit diepte-interviews met de verantwoordelijke beleidsambtenaren en coördinatoren van buurtsportcoaches (totaal 71 personen) en groepsinterviews met betrokken organisaties (totaal 236 personen).
Op microniveau is de praktijk van buurtsportcoaches in kaart gebracht. Onderzocht is welke invulling buurtsportcoaches aan hun functie geven, op welke doelgroepen ze zich richten en welke aanpak ze gebruiken voor het bereiken van doelstellingen. Specifiek is ingezoomd op de verbindende rol van de buurtsportcoaches en de samenwerking met lokale organisaties voor het bereiken van de doelgroepen. Voor de dataverzameling is in de 34 casegemeenten een lokale enquête uitgezet onder bij de impuls betrokken organisaties (n = 446) en buurtsportcoaches (n = 424). Tevens zijn diepte-interviews gehouden met een groot aantal buurtsportcoaches (n = 291), waarbij rekening is gehouden met de spreiding over de doelgroepen waarop ze zich richten.
Evaluatie als onderdeel van planning en implementatie
Jolley onderscheidt in haar model drie fasen: planning, implementatie en evaluatie. Evaluatie dient volgens haar integraal onderdeel uit te maken van de vormgevings- en implementatiecyclus van een programma, waardoor onderzoeksresultaten, onder andere veranderingen in de context en tussentijdse (emergente) uitkomsten, snel kunnen terugvloeien naar de stakeholders. Op basis hiervan kan het programma tussentijds worden aangepast. Hiermee bouwt Jolley voort op de in de inleiding beschreven uitgangspunten van ontwerpgericht evalueren [13]. Ontwerpgericht evalueren ondersteunt programmaontwikkeling door gebruik te maken van regelmatige ‘real time’ feedback terwijl het programma zich ontvouwt. Een vorm van ‘leren-door-doen’, waarbij een programma voortdurend wordt aangepast aan wat vanuit de praktijk wordt geleerd. Dat betekent dat evalueren in alle fasen van programmaontwikkeling en -implementatie gebeurt en niet pas nadat het is uitgevoerd. Jolley stelt ook dat ontvangers en betrokkenen van het programma een rol zouden moeten spelen bij de evaluatie en dat rekening wordt gehouden met hun input. In het geval van de BIC zouden bijvoorbeeld op het meso- en microniveau beleidsambtenaren, coördinatoren en buurtsportcoaches, betrokken organisaties en burgers tussentijds gehoord moeten worden over het beleid, en zelf ook een rol kunnen spelen bij het verzamelen van data. Zo wordt hun positie versterkt en kan hun input tussentijds zorgen voor aanpassingen in de aansturing van het beleidsprogramma op macroniveau, in beleidskeuzen op mesoniveau en in een verandering in de werkwijze van buurtsportcoaches op microniveau. Het onderscheid in de drie fasen van planning, implementatie en evaluatie hebben wij in het model overgenomen, al was dit in de praktijk niet toe te passen. Bij de ontwikkeling van de BIC, tien jaar voor het evaluatieonderzoek plaatsvond, werd nog geen rekening gehouden met een eventuele evaluatie van het programma. De doelstellingen van de BIC waren nog niet concreet en betrokkenen hadden amper evaluatie- of monitortaken, vooral om hen niet te veel te belasten met regelwerk [1]. Tussentijds heeft het rijk de regeling wel aangepast en kreeg evaluatie een steeds belangrijker rol. In het evaluatieonderzoek is dan ook in retrospectief gekeken naar de wijze waarop evaluatie en monitoring een rol hebben gespeeld in de planning en implementatie van de BIC, hoe partijen daarmee zijn omgegaan en welke invloed dit vervolgens heeft gehad op eventuele bijstellingen van het beleid.
De rol van kennis, logische modellen en programmatheorieën
In het model is een belangrijke plaats ingeruimd voor de ontwikkeling van programmatheorieën en logische modellen op verschillende niveaus in het implementatieproces. Jolley bouwt hierbij voort op theoriegebaseerd evalueren. Een goede programmatheorie vergroot de kans dat het programma effectief zal zijn. Bij de evaluatie van een programma kan worden gekeken naar hoe goed de programmatheorie is geformuleerd en of het een reëel plan bevat om de beoogde effecten te bereiken. Een programmatheorie is gebaseerd op voorkennis, dan wel bewijsmateriaal (uit theorie en praktijk) over wat wel en niet werkt of in een gegeven situatie zou kunnen werken. Een logisch model is een hulpmiddel om de activiteiten van een programma op een duidelijke en logische manier aan de verwachte uitkomsten te verbinden. In het model wordt de voorkennis waarop het plan is ontwikkeld, weergegeven door de twee emmertjes bovenaan. Het emmertje met ‘bewijs’ bevat de kennis die gehaald kan worden uit wetenschappelijke literatuur en best practices over de werking van het programma. De emmer met ‘kennis’ bevat kennis vanuit de praktijk over wat wel en niet in bepaalde gevallen werkt. Deze twee kennisbronnen vormen de basis voor de planningsfase. De emmers worden gedurende de uitvoering gevuld met nieuwe informatie waarmee het programma tussentijds kan worden aangepast.
Het model van Jolley gaat uit van een ‘overkoepelende’ programmatheorie, een model voor de manier waarop het programma als geheel zou moeten werken. Deze krijgt op microniveau een ‘gelokaliseerde’ vertaling, waarbij rekening wordt gehouden met de beschikbare bronnen en de bevorderende en belemmerende factoren in de specifieke lokale omgeving, zoals een wijk of buurt. Uit de beleidsstukken en interviews met beleidsmedewerkers bleek dat in het geval van de BIC de verbindende kracht van de buurtsportcoach als centrale programmatheorie wordt beschouwd. De inzet van deze professional moest in eerste instantie zorgen voor een verbinding tussen sportorganisaties en scholen. Deze partijen vonden elkaar tot dan toe nog onvoldoende in het streven om jongeren te stimuleren meer te gaan sporten en bewegen. In een latere fase van het programma werd verwacht dat de buurtsportcoach ook sport aan organisaties uit andere sectoren, zoals zorg en welzijn, zou kunnen verbinden. Zo konden kwetsbare burgers worden bereikt, een wens van veel gemeenten.
Als we kijken naar de werking van de BIC als regeling, dan kan deze gezien worden als een vorm van ‘beleidsuitlokking’ [25]. Het ‘werkzame principe’ hiervan is cofinanciering: 40% van de personeelskosten van buurtsportcoaches wordt door het rijk vergoed. Dit moet gemeenten aanzetten eigen sport- en beweegbeleid te ontwikkelen. Gemeenten hebben daarbij veel beleidsvrijheid om een eigen invulling te geven aan de inzet van buurtsportcoaches.
In het evaluatieonderzoek zijn we op zoek gegaan naar de programmatheorieën op de diverse niveaus. Dit hebben we gedaan door in vragenlijsten en interviews met beleidsmedewerkers, coördinatoren, betrokken organisaties en buurtsportcoaches te vragen naar de doelen die ze nastreven en de aanpak die ze hanteren om deze doelen te bereiken. In de praktijk bleken de programmatheorieën op de verschillende niveaus enorm te verschillen. De gemeenten en op hun beurt de buurtsportcoaches hanteren eigen ‘programmatheorieën’, los van de overkoepelende macrotheorie, afhankelijk van hun doelstellingen, de doelgroep(en) waarop ze zich richten en de aanpak die ze hanteren. Specifiek bij buurtsportcoaches is ingezoomd op de vraag in hoeverre bij hen al dan niet sprake was van doelbewust handelen en in hoeverre zij werken op basis van voorkennis, ervaring, intervisie of erkende interventies (de emmers met bewijs en kennis). Buurtsportcoaches bleken veelal niet volgens een vaste aanpak of erkende interventies te werken, maar leveren vooral maatwerk gebaseerd op kennis uit de dagelijkse praktijk. De emmertjes met ‘bewijs’ die er waren, bleven vaak ongebruikt.
Aandacht voor de context
Diverse factoren spelen een rol bij het implementeren van beleid en het succes ervan. Dit geldt ook voor de BIC. Het model van Jolley heeft aandacht voor interne en externe factoren die in de lokale setting een rol kunnen spelen. Voorbeelden van factoren zijn sociaal-demografische, economische of politieke factoren, of de aan- of afwezigheid van specifieke stakeholders, kenmerken van de beoogde doelgroep, eerdere ervaringen met het programma en sterkte en zwakte aspecten in een lokale gemeenschap. In het evaluatieonderzoek zijn de diverse betrokkenen via vragenlijsten en in interviews gevraagd naar factoren die een bevorderende dan wel belemmerende invloed hadden op de beleidsvorming, de inzet van buurtsportcoaches en de resultaten. Daarvoor is bijvoorbeeld gekeken naar factoren die te maken hebben met het landelijke beleidsinstrument. Zo bleken de onzekerheid over de continuering van de regeling en de mogelijke effecten van bezuinigingen als gevolg van de economische crisis van invloed op de lokale beleidsvorming. Ook is gekeken naar de organisatorische context waarbinnen de buurtsportcoaches hun werk moeten doen (gemeente/werkgevers/partners). Hieruit bleek bijvoorbeeld dat een bevorderende factor was dat buurtsportcoaches deel uitmaken van een team (wat lang niet overal het geval is), waardoor zij in staat zijn ervaringen met collega’s uit te wisselen. Vervolgens is naar aspecten in de sociaal-politieke omgeving gevraagd, waarbij goede samenwerking met diverse partijen in de omgeving een belangrijke succes- of faalfactor bleek te zijn, net als het karakter van de doelgroep (goed of minder goed bereikbaar).
Het belang van betrokkenheid van stakeholders
Participatieve evaluatie is een van de centrale uitgangspunten van het model van Jolley. Het idee hierachter is dat de evaluator de rol aanneemt van onderhandelaar om verschillende belangen en perspectieven tot een werkbare consensus samen te brengen. In het onderzoek is dit vormgegeven door uiteenlopende stakeholders (beleidsmedewerkers, coördinatoren, werkgevers, samenwerkingspartners en buurtsportcoaches) te bevragen. De hieruit verkregen inzichten zijn meegenomen in de resultaten, maar hebben gedurende het onderzoek ook een rol gespeeld bij de ontwikkeling van diverse onderzoeksinstrumenten, zoals item- en vragenlijsten.
Sterke en zwakke punten van de toepassing van de uitgangspunten van Jolley
Zoals hiervoor aangegeven hebben we een aantal aanpassingen gedaan en enkele concessies moeten doen aan de oorspronkelijke uitgangspunten van het model van Jolley. Per bouwsteen geven we aan op welke punten de aangepaste versie van het model goed werkte voor de evaluatie van de BIC (de sterke punten van het model) en waar aspecten minder goed uit de verf kwamen (de minder sterke of zwakke punten van het model). We gaan daarbij uit van het door ons aangepaste model (zie fig. 1). Waar van toepassing geven we de verschillen aan met het oorspronkelijke model van Jolley. Voor alle duidelijkheid: de sterke en zwakke punten slaan dus niet op het oorspronkelijke model van Jolley, maar op de wijze waarop het door ons is toegepast op de evaluatie van de BIC.
Onderscheid in implementatieniveaus:
Sterk: werken volgens de uitgangspunten van Jolley heeft ten eerste geholpen de meervoudigheid, gelaagdheid en lokale verscheidenheid van de BIC goed in beeld te brengen. Door stakeholders op alle implementatieniveaus in het onderzoek te betrekken, is een completer beeld ontstaan van de verwachte én onverwachte uitkomsten. Zo werd bijvoorbeeld duidelijk dat de BIC voor een impuls heeft gezorgd in de ontwikkeling van lokaal sportstimuleringsbeleid, wat te zien is als een verandering op systeemniveau. De gekozen aanpak heeft ook een rijk beeld opgeleverd van de diverse ‘opbrengsten’ op verschillende niveaus. Dat hadden we nooit kunnen realiseren wanneer we waren uitgegaan van uniforme ‘uitkomstmaten’ voor het meten van het effect van de regeling.
Sterk: door onderscheid te maken tussen de implementatie op het niveau van lokaal beleid (mesoniveau) en de lokale uitvoering (microniveau) is meer inzicht gekregen in het proces van beleidsvorming, waarbij betrokkenen op alle niveaus (bottom-up én top down) via feedbackloops met elkaar interacteren. Met deze aanpassing van het model van Jolley deden we recht aan de invloed van professionals op het beleid. Door de manier waarop zij het beleid in lijn brengen met de wensen, mogelijkheden en belangen van de betrokken organisaties, en met de wensen en behoeften van de burgers voor wie ze werkzaam zijn, zijn zij de verbinders van meso- en microniveau [26].
Zwak: in het onderzoek hebben we geen aandacht kunnen schenken aan de uitwerking van de BIC op de einddoelgroepen op het microniveau. Dit was een bewuste keuze. De tijd en middelen ontbraken om (verwachte en onverwachte) resultaten op het niveau van burgers (bijvoorbeeld kinderen, mensen met een beperking, ouderen) te onderzoeken. Door alleen ontwikkelaars en uitvoerders van beleid te bevragen bestaat het gevaar dat de waargenomen resultaten gekleurd zijn.
Sterk: het onderzoek heeft daarentegen wel laten zien dat de inzet van de buurtsportcoach heeft geleid tot een impuls aan de kwaliteit, omvang en ‘passendheid’ van het sport- en beweegaanbod voor zeer uiteenlopende doelgroepen. Hiermee is de lokale beleidspraktijk versterkt. Niet alleen door de kennis en expertise die buurtsportcoaches inbrengen, maar ook door de ondersteuning die zij anderen bieden (zoals sportverenigingen) en het netwerk dat zij tot stand brengen. De invloed van buurtsportcoaches reikt dus veel verder dan direct terug te zien is in het ‘beweeggedrag’ van burgers. Een klassieke effectmeting (bijvoorbeeld door te meten hoeveel mensen aan de beweegnorm voldoen als gevolg van de inzet van buurtsportcoaches) zou dit nooit aan het licht hebben gebracht.
De rol van de evaluatie in het implementatieproces:
Zwak: het element van ‘snelle feedback’, kenmerkend voor ontwerpgericht evalueren en daarmee juist een sterk punt van het model van Jolley, kon door ons zoals we hebben uitgelegd tijdens het onderzoek niet in praktijk worden gebracht.
Sterk: het model heeft ons op het belang van de evaluatie voor de ontwikkeling en aanpassing van een beleidsprogramma gewezen. In het onderzoek zijn wij daarom nagegaan of en op welke wijze de betrokken partijen monitoring en evaluatie inzetten bij de implementatie van de BIC.
De rol van kennis, logische modellen en programmatheorieën:
Zwak: een punt waarop het model minder goed toepasbaar bleek was de functie van ontwerpgericht evalueren bij het opstellen en verfijnen van interventietheorieën, om zo de ‘werkzame principes’ te achterhalen en deze aan te passen aan een nieuwe context. Er was geen duidelijke overkoepelende programmatheorie te reconstrueren. Er was wel een centraal idee, namelijk de verbindende rol van buurtsportcoaches, dat op alle implementatieniveaus een rol speelde, maar er was geen uitgewerkt model van de manier waarop deze rol tot de gewenste uitkomsten kan leiden. Dat was lastig, aangezien er grote verschillen waren in doelen. Actoren op verschillende niveaus hanteren daarnaast eigen ‘programmatheorieën’ (vooronderstellingen over de werking van de gehanteerde aanpak). Op (meso- en) microniveau vormen deze geen ‘gelokaliseerde’ vertaling of aanpassing van een overkoepelende programmatheorie op macroniveau, waar het model van Jolley vanuit gaat. Daarvoor was de BIC als ‘interventie’ te breed en te divers.
Sterk: het model wijst op het belang van kennis, logische modellen en programmatheorieën. In het onderzoek zijn de buurtsportcoaches daarom gevraagd naar hun aanpak, of zij vooraf bepaalde verwachtingen hadden over de uitkomsten van hun inzet en waar deze verwachtingen op waren gestoeld. Door buurtsportcoaches te laten reflecteren op de vraag of de gekozen activiteiten eigenlijk wel bijdragen aan het doel dat ze hadden, is een bewustwordingsproces op gang gebracht.
Aandacht voor de context:
Sterk: een systeembenadering begint bij de context. De toepassing van het model stelde ons in staat zicht te krijgen op belangrijke randvoorwaarden en contextfactoren die bij de inzet van de buurtsportcoach van belang zijn, zoals de invloed van de werkomgeving van de buurtsportcoach (bijvoorbeeld hoe het werkgeverschap is vormgegeven en of de buurtsportcoach al dan niet onderdeel uitmaakt van een team). In het onderzoek hebben we daardoor goed zicht gekregen op de factoren die volgens de betrokkenen het beleid en de uitvoering van de BIC bevorderen dan wel belemmeren.
Zwak: door de breedte van het onderzoek hebben we onvoldoende diepgang kunnen bereiken om een vergelijkende analyse te kunnen maken tussen de gemeenten. Daardoor kunnen we geen uitspraken doen over de vraag waarom iets in de ene gemeente wel werkt en in een andere niet.
Het betrekken van stakeholders:
Sterk: in het onderzoek was oog voor verschillende perspectieven van de betrokkenen, niet in de laatste plaats van de buurtsportcoaches zelf.
Zwak: de einddoelgroepen zijn niet in het onderzoek betrokken.
Zwak: een echt actieve rol hebben de stakeholders niet gehad in het onderzoek; ze waren toch vooral ‘leveranciers van data’ en ‘respondenten’. Gedurende het onderzoek was dan ook geen sprake van een versterking van de rol van ontvangers van en betrokkenen bij het programma, volgens Jolley een belangrijke functie van evaluatie.
Beschouwing
Concluderend kunnen we vaststellen dat het model van Jolley op een aantal onderdelen goed heeft geholpen bij het evalueren van de BIC. Vooral het onderscheid in (en de wisselwerking tussen) implementatieniveaus en de aandacht voor contextfactoren stelde ons in staat een breed en rijk beeld te schetsen van de ‘opbrengsten’ van de regeling. Die opbrengsten hebben niet zozeer betrekking op het niveau van gedragsverandering van individuele eindgebruikers, als wel op veranderingen in de context of het systeem [17, 27], zoals een kwalitatief beter en ‘passender’ sport- en beweegaanbod, of versterking van het lokale netwerk, waardoor bijvoorbeeld sportprofessionals en sociale professionals beter samenwerken om kwetsbare doelgroepen te bereiken. Door deze ‘holistische benadering’ had het model een duidelijke meerwaarde ten opzichte van traditionelere evaluatiemethoden. Duidelijk is dat sommige onderdelen van het model, vaak door de omstandigheden, niet of slechts in afgezwakte vorm konden worden toegepast. Zo heeft de evaluatie geen rol gespeeld in de ontwikkeling van het programma. Wel heeft het model bruikbare inzichten opgeleverd voor het vervolg (de Brede Regeling Combinatiefuncties, de opvolger van de BIC). Daarnaast heeft het bij betrokkenen op beleids- en uitvoerend niveau bijgedragen aan een groeiend bewustzijn van het belang van monitoring en evaluatie. Bij de opvolger van de BIC hebben monitoring en evaluatie een veel duidelijker plek gekregen [28, 29]. Het model werkte in het geval van de evaluatie van de BIC minder goed ten aanzien van de toetsing en ontwikkeling van de programmatheorie of interventielogica. Daarvoor is de regeling te breed en te divers. Dit element van het model werkt waarschijnlijk beter bij de evaluatie van meer afgebakende landelijke beleidsprogramma’s die lokaal impact willen genereren. Die programma’s richten zich primair op één complex vraagstuk, zoals het programma Doortrappen (een fietsprogramma voor ouderen van het ministerie van VWS [30]) of Jongeren op Gezond Gewicht (JOGG), waar het evaluatiemodel nu wordt toegepast.
De les die we hieruit kunnen trekken is dat het bij onderzoek naar de werking van een complex beleidsprogramma als een gezondheidsprogramma van belang is te kijken naar veranderingen op het niveau van het hele systeem. Hierin onderscheidt deze op systeemdenken en complexiteitstheorie gebaseerde benadering van evalueren zich duidelijk van traditionele methoden. Deze laatste zijn er namelijk op gericht om vast te stellen of een bepaald effect het directe (lineaire) gevolg is van een op zichzelf staande concrete interventie. Een meer ‘holistische’ benadering zoals die van Jolley kijkt echter naar het geheel: heeft het totaal aan beleidsinspanningen bijgedragen aan de oplossing van het vraagstuk [9]? Dit betekent: aandacht hebben voor de verschillende niveaus van het implementatieproces en de wijze waarop deze door middel van feedbackloops met elkaar interacteren. Hoe is het programma op macroniveau tot stand gekomen en hoe wordt het door betrokkenen op meso- en microniveau geïnterpreteerd en ingevuld? Welke contextfactoren spelen daarbij een rol?
De laatste jaren is een sterke groei te zien van evaluatiebenaderingen die op systeemdenken en complexiteitstheorie zijn gebaseerd. Daarbij worden diverse methoden uit de systeemwetenschappen toegepast [13, 31‐33]. De toekomst zal uitwijzen wat deze methoden en benaderingen voor de praktijk van het beleidsonderzoek te bieden hebben. Het model van Jolley heeft als voordeel dat het verschillende relevante evaluatiebenaderingen in één integraal model combineert. De casus van de evaluatie van de BIC laat echter zien dat de toepassing ervan in de praktijk lastig kan zijn. Om het model volledig tot zijn recht te laten komen en de uitgangspunten van ontwerpgericht evalueren te kunnen toepassen, is het wel zaak om evaluatie vanaf het begin te integreren in de plannings- en implementatiefases. Ook is het van belang goed te kijken naar de wijze waarop ontvangers en betrokkenen van het te evalueren beleidsinstrument kunnen meedoen aan het onderzoek, niet alleen als respondent, maar ook als probleemeigenaar, onderzoeker of mededataverzamelaar. Een actieve rol in het onderzoek geeft betrokkenen, zoals Jolley ook stelt, een sterkere positie en meer zelfvertrouwen ten aanzien van de eigen rol in het programma. Buurtsportcoaches kunnen door zelf gegevens over de resultaten van hun inzet te verzamelen veel beter zicht krijgen op de effectiviteit van hun aanpak en kunnen hun verhaal daardoor beter aan opdrachtgevers vertellen. Dit vraagt van onderzoekers competenties op het gebied van participatief (en actiegericht) onderzoek [34].
De casus van de evaluatie van de BIC laat dus zien dat er spanning bestaat tussen wat vanuit een model als dat van Jolley als wenselijk wordt gezien en de mogelijkheden die de praktijk biedt. Een deel van de verklaring hiervoor ligt in de aanleiding voor het evaluatieonderzoek, namelijk een vraag vanuit de Tweede Kamer om de effecten van de regeling te ‘meten’. Dit kan in de praktijk tot spanning leiden tussen de twee functies van beleidsevaluatie: leren en verantwoorden [35]. Het onderzoek hinkte daardoor steeds op twee gedachten: het was enerzijds gericht op het verkrijgen van een zo breed mogelijk beeld, waarin de lokale verscheidenheid goed aan bod zou komen en inzicht zou ontstaan in de belangrijke (lokale) contextfactoren (leerfunctie), en anderzijds op het zichtbaar maken van de ‘opbrengsten’ van de inzet van de duizenden buurtsportcoaches (verantwoordingsfunctie). Deze spanning maakte het ingewikkeld om volledig volgens de principes van Jolley te werken. Die spanning kan deels worden weggenomen wanneer wordt ingezien dat ‘verantwoorden’ bij complexe beleidsprogramma’s niet hetzelfde is en kan zijn als bij beleid dat is gericht op niet-complexe vraagstukken [36]. Dat vraagt om een andere kijk op (de functie van) evalueren, zowel bij onderzoekers, als bij opdrachtgevers en de politiek [9].
Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.
TSG, het Tijdschrift voor Gezondheidswetenschappen, is het enige Nederlandstalige tijdschrift dat multidisciplinaire informatie bevat op het gebied van de volksgezondheid en gezondheidszorg. Naast de multidisciplinaire oriëntatie is de combinatie van wetenschap, beleid en praktijk uniek.
