Laten we het eens over ROM hebben. Edwin de Beurs, Hoogleraar Routine Outcome Monitoring en Benchmarking aan de Leidse Universiteit omschrijft het als ‘systematisch verzamelen van gegevens over de effectiviteit van behandelingen in de dagelijkse klinische praktijk’. ROM wordt in ons land al sinds 2002 toegepast in de Volwassenen-ggz, maar is pas zes jaar later voor de jeugd geïntroduceerd. Toen werd ROMCKAP, een consortium van zestien Kinder- en Jeugd (K&J) ggz-instellingen, opgericht met als doel wetenschappelijk onderzoek te doen op basis van ROM. Het duurde echter nog een tijd voordat er op grote schaal ROM-vragenlijsten werden afgenomen. Dat was toen de zorgverzekeraars dat eisten met een stevige (financiële) stok achter de deur. In 2011 moest er van 20 procent van de cliënten een voor- en een nameting beschikbaar zijn. In de jaren daarop werd dit percentage telkens met 10 procent verhoogd. Werden deze percentages niet gehaald, dan had dat ernstige gevolgen voor de financiering.
Maar voor de K&J-ggz zit het ROM-avontuur er nu wellicht al weer (bijna) op. De ROM en de doelstellingen van de zorgverzekeraars die via de Stichting Benchmark GGZ (SBG) werden nagestreefd, gelden niet meer voor cliënten onder de achttien, omdat de complete jeugdzorg, inclusief de K&J-ggz, sinds 1 januari 2015 onder verantwoordelijkheid van de gemeenten valt. Die gemeenten willen graag weten of ze waar voor hun geld krijgen, maar weten nog niet precies hoe ze dat willen meten. Daarom volgen ze nu nog het advies van de Vereniging van Nederlandse Gemeenten om tot eind 2017 gebruik te maken van de door SBG opgetuigde ROM-methodiek. ROM draait in de K&J-ggz dus nog tot het eind van dit jaar en het is onduidelijk hoe het daarna zal gaan. Tijd om te bekijken wat zo’n zes jaar ROM ons heeft opgeleverd.
Wat meten we eigenlijk?
Volgens de regels die door SBG zijn opgesteld, worden er in de K&J-ggz drie meetdomeinen onderscheiden waarop ROM zich richt. Dat zijn ‘klachten en symptomen’, ‘functioneren’ en ‘kwaliteit van leven’. Voor ieder domein is door SBG vastgesteld welke vragenlijsten er mogen worden gebruikt. Voor het eerste domein zijn dat de ASEBA-lijsten (CBCL, YSR) of de SDQ (ouder en kind). Dit zijn lijsten waarbij (bijna) alle mogelijke problemen en stoornissen aan de orde komen, en afhankelijk van de leeftijd door de cliënt of diens ouders worden ingevuld. Voor het tweede domein kan alleen de HoNOSCA worden gebruikt, een door de behandelaar in te vullen lijst over het dagelijks functioneren van de cliënt. Voor ‘kwaliteit van leven’ is er de Kidscreen, die ook weer afhankelijk van de leeftijd door kind of ouders wordt ingevuld.
×
![]()
Door deze lijsten herhaald af te nemen, hoopt SBG dus iets over de effectiviteit van de behandeling te kunnen zeggen. Althans, als we de definitie van De Beurs hanteren.
Hoewel ‘effectiviteit’, als je het snel zegt, sterk lijkt op ‘effect’, is ROM iets heel anders dan effectonderzoek. ‘Uitkomst’ (Nederlands voor ‘Outcome’ in de afkorting ROM) is een voorzichtige term waarmee eigenlijk niet meer gezegd wordt dan dat dit de verandering is die zich voordoet tussen het begin en het eind van de behandeling. Ongeveer zoals u bij uw echtscheiding kunt vaststellen dat de uitkomst van alle goede bedoelingen bij uw belofte van trouw, tot een restschuld op uw hypotheek en een gevecht om de kinderen heeft geleid. Maar er is niet per se een causaal verband tussen het plan ‘getrouw alle plichten te zullen vervullen, die door de wet aan de huwelijkse staat worden verbonden’ en de uitkomst van uw huwelijk. Bij behandelingen in de ggz is het ongeveer net zo lastig om een causaal verband aan te wijzen tussen de behandeling en de uitkomst daarvan. Daarom spreken we pas over effect als er op basis van gerandomiseerd onderzoek met een controlegroep (RCT) effect wordt gevonden. Nu worden in de K&J-ggz over het algemeen wel evidencebased behandelingen toegepast die gebaseerd zijn op RCT-onderzoek, maar het is niet altijd duidelijk of daarmee hetzelfde effect wordt bereikt. De luxe om cliënten met comorbiditeit, een te laag IQ, onvoldoende kennis van de Nederlandse taal (niet ongewone exclusiecriteria bij RCT’s) af te wijzen, hebben praktijkinstellingen in de regel niet. We willen wel graag het effect van gewone behandelingen meten, maar zolang we er niet in slagen om een controlegroep te creëren die net zo gemêleerd is als de cliënten die we in de praktijk zien, kan dat niet. We weten niet in hoeverre de uitkomst van behandelingen in de Jeugdggz wordt bepaald door andere factoren (placebo, opgroeien, etc.). In de praktijk meet ROM dus niet het effect, maar de effectiviteit of uitkomst aan het eind van de behandeling. En doen we dat met goede instrumenten?
De instrumenten waarmee we meten zijn eigenlijk niet geschikt voor het ROM-project. Met de SDQ- en de ASEBA-lijsten is weliswaar veel epidemiologisch onderzoek gedaan, maar of ze geschikt zijn om verandering te meten is nog maar de vraag. Zo meldt de ASEBA-handleiding een voldoende test-hertestbetrouwbaarheid, maar is in dezelfde handleiding ook te lezen dat bij deze herhaalde meting (dus zonder tussenliggende interventie) sprake is van een significante daling van de klachten. Dat wil dus zeggen dat als u niks doet, de klachten van uw cliënten significant zullen afnemen als u deze lijsten gebruikt.
Dit ‘wachtlijsteffect’ doet zich waarschijnlijk voor bij alle klachtenlijsten. In een artikel uit 2001 noemt Arrindell het een gevaar voor longitudinaal onderzoek en geeft wel elf redenen waardoor dit wachtlijsteffect mogelijk kan worden veroorzaakt. Omdat dit fenomeen zich vooral voordoet tussen de eerste en de tweede meting, is het advies om aan het begin van de behandeling twee keer dezelfde lijst af te nemen en de tweede meting als beginmeting te gebruiken. Niet erg praktisch, omdat we het onze cliënten toch niet kunnen aandoen om twee keer achter elkaar 118 (ASEBA) of 25 (SDQ) vragen te laten invullen. Maar we hebben dus eigenlijk geen flauw idee of de daling in klachten en symptomen die behandelaar en financier zo graag ziet, niet gewoon een gevolg is van de manier waarop we meten. Overigens geeft de COTAN-beoordeling van betrouwbaarheid en validiteit bij ASEBAen SDQ-lijsten nog flink wat onvoldoendes te zien (COTAN, 2017). Over de HoNOSCA en de Kidscreen heeft de COTAN nog geen oordeel uitgesproken en weten we dus eigenlijk niet precies wat we meten als we deze lijsten gebruiken. Toen de HoNOSCA in het pakket werd opgenomen, werd dit dan ook nadrukkelijk ‘experimenteel’ (omdat we niet weten wat we ermee meten en wat de verschilscore tussen begin en eind van de behandeling betekent) genoemd.
En hoe gaat dat dan in de praktijk?
Om de ROM gestalte te geven, sloten grote instellingen contracten af voor de afname van digitale vragenlijsten. De cliënt of de ouders kregen bij aanmelding een mailtje waarmee ze de vragenlijsten konden invullen. Bij het aflopen van de DBC gebeurde dit weer. Maar de respons was zo laag, dat al snel duidelijk werd dat het onmogelijk was om met metingen bij cliënten en hun ouders de door de zorgverzekeraars geëiste percentages voor- en nametingen te bereiken.
Wellicht omdat de meeste behandelaren tijdens de behandelsessies geen gebruikmaakten van de informatie die via de vragenlijsten binnenkwam – en de cliënten dus geen flauw idee hadden waarom ze lijsten hadden ingevuld – bleef het aantal vervolgmetingen (bij afloop van de DBC of aan het eind van de behandeling) bedroevend laag. Maar er was een uitweg: de zorgverzekeraars namen ook genoegen als het percentage werd gehaald op slechts een van de drie meetdomeinen. Dus kregen de behandelaren de opdracht om voor alle cliënten HoNOSCA’s in te vullen, die zijn immers wel te dwingen. De zorgverzekeraars bleken bovendien bereid om per HoNOSCA een kwartier te vergoeden, zodat de behandelaar de vijftien vragen kon invullen. Een redelijke schatting is dat dit de zorgverzekeraars zo’n 2,5 miljoen euro heeft gekost. Het gevolg was wel dat de ROM voor het grootste deel is gaan bestaan uit behandelaars die hun eigen werk beoordelen op basis van een lijst waarvan we eigenlijk niet weten wat die meet. Maar als ouders en cliënten bij een tweede meting al onbewust aangeven dat de problemen verminderd zijn (het wachtlijsteffect), hoe zit het dan met professionals die zoveel tijd en moeite hebben geïnvesteerd in de behandeling?
Hoe moet het dan wel?
Nu in vele gemeenten nagedacht wordt over een manier om te bepalen of ze waar voor hun geld krijgen, lopen we het risico dat door dit stukje straks het kind met het badwater wordt weggegooid. Dat zou ik wel zonde vinden, omdat we met elkaar toch zes jaar of langer bezig zijn geweest om een systeem op te bouwen dat het mogelijk maakt om in de toekomst goed onderzoek te doen naar de uitkomst van de behandelingen. Laten we de mogelijkheden eens opsommen. Omdat kinderen met psychiatrische problemen een groot risico lopen om op te groeien als volwassenen die nog steeds gebruikmaken van de ggz en maatschappelijk slechter functioneren, zouden gemeenten kunnen besluiten dat de investering in de K&J-ggz en het verder ontwikkelen van ROM sowieso het geld waard zijn. We zouden daarbij bijvoorbeeld gebruik kunnen maken van (koppelingen) van de gemeentelijke bestanden, om over langere tijd te meten in hoeverre behandelingen in de K&J-ggz leiden tot minder schooluitval, lagere jeugdcriminaliteit etc.
We zouden ROM bovendien kunnen gebruiken zoals die ooit bedoeld is, met zinvolle instrumenten die op logische momenten in de behandeling worden afgenomen, waarbij behandelaars de resultaten bespreken in de behandeling. Hierdoor verbetert het resultaat van de behandeling. Het zal er vast ook toe leiden dat cliënten en hun ouders vaker bereid zijn om de lijsten in te vullen.
We zouden ook betere (specifieke) lijsten kunnen gebruiken. De meeste behandelingen die worden gegeven zijn evidencebased en het is logisch om bij ROM dezelfde lijsten te gebruiken als bij het onderzoek, waarmee de behandeling bewezen heeft effectief te zijn. De algemene probleemlijsten (SDQ, ASEBA) zoals die nu worden gebruikt, zijn vaak te algemeen om verandering bij specifieke problemen te meten.
En tot slot: we zouden de gegevens die er tot nu toe verzameld zijn, kunnen gebruiken om onderzoek te doen naar de waarde van de instrumenten die in de ROM worden gebruikt. Er is een schat aan gegevens waarbij onduidelijk is wat het kind en het badwater is. In 2008 werd ROMCKAP opgericht en hierover schreven de oprichters: “Veel is dus nog experimenteel en tegelijkertijd is er nog zoveel te ontwikkelen”. Dit geldt zo’n tien jaar later nog steeds.
Laten we daarom bescheiden zijn over wat ROM ons leert over de effectiviteit van de behandelingen in de K&J-ggz, maar er nog wel even mee doorgaan en proberen op grond van de opgedane ervaringen tot een beter project in de toekomst te komen.
Literatuur is op te vragen bij de redactie.