Patiëntgerapporteerde waarderingen van urologische kwalitatieve zorg: een kwaliteitsonderzoek op ZorgkaartNederland

Patiënten baseren de ervaringen die zij met medische zorg hebben veelal op het verloop van het contact met de zorg en de wijze waarop deze verleend wordt [1]. Hoe patiënten de kwaliteit van zorg ervaren, is niet objectief waarneembaar. Hun ervaringen zijn echter wel belangrijk voor verdere ontwikkeling en verbetering van de zorg die wordt geleverd. Dit geldt ook voor de urologische zorg.

Uitkomsten van het zorgproces kunnen worden gemeten met patient reported outcome measures (PROMs) en met patient reported experience measures [2, 3]. PROMs zijn een absolute indicator voor de kwaliteit van de zorg in de zin van ervaren gezondheid en kwaliteit van leven van patiënten. PREMs verschaffen informatie over hoe patiënten het zorgproces hebben ervaren. Ze zijn hiermee ook een indicator voor kwaliteit van zorg, maar dan indirect gemeten, via de impact van het zorgproces op patiëntervaringen, in de vorm van bijvoorbeeld communicatie en begeleiding van zorg door zorgverleners [2, 3].

Zowel PROMs als PREMs worden gemeten met gevalideerde en gestandaardiseerde vragenlijsten die gedurende het zorgtraject door de patiënt ingevuld kunnen worden. Data die worden verzameld middels PROMs en PREMs kennen vele toepassingen: onderzoek, verbetering van kwaliteit van zorg, evaluatie van een zorgverlener, maar ook economische evaluatie.

Een medium waarop ervaringen van patiënten anoniem gedeeld kunnen worden, is ZorgkaartNederland. Wanneer je als zorgverlener je specialisatie hebt afgerond, word je er automatisch aan toegevoegd en kun je beoordelingen ontvangen van patiënten. ZorgkaartNederland is een onafhankelijke website die is opgericht door Patiëntenfederatie Nederland (PFN) en is momenteel de grootste ervaringssite voor de Nederlandse gezondheidszorg. ZorgkaartNederland is voor zorgaanbieders een kwaliteitsinstrument waarmee zij inzicht kunnen verkrijgen in wat volgens patiënten beter kan in de zorg [4]. De PFN stelt dat de waarderingen op ZorgkaartNederland betrouwbaar en onafhankelijk zijn en een vergelijkbaar beeld geven als andere gevalideerde metingen met patiëntervaringen. Dit claimt de PFN op basis van onderzoek dat is verricht door het Talma Institute van de Vrije Universiteit Amsterdam.

Beleidsbepalers hechten veel waarde aan de ervaringen die patiënten via ZorgkaartNederland delen. De gegevens zijn breed toepasbaar en het gaat om een grootschalig opgezette database. Op ZorgkaartNederland delen patiënten ook de ervaringen die zij hebben met de uroloog bij wie zij onder behandeling zijn. Wij wilden weten hoe representatief de beoordeling van urologen op ZorgkaartNederland zijn.

Via de website van ZorgkaartNederland werden alle urologen geëvalueerd in de maanden juli 2021 tot en met februari 2022. Na deze periode kunnen er beoordelingen bij zijn gekomen, maar deze zijn niet verwerkt in de verdere analyse. Gegevens zoals geslacht, aantal waarderingen, gemiddeld cijfer, en het type ziekenhuis (perifeer, academisch of zelfstandig behandelcentrum (ZBC)) waarin een uroloog werkzaam is, werden geanonimiseerd en verzameld.

Een gemiddeld cijfer over een zorgverlener komt op ZorgkaartNederland tot stand op basis van een gemiddelde van alle waarderingen die een zorgverlener krijgt. Sinds augustus 2018 tellen oude waarderingen op de website niet meer mee, met als doel een actueler beeld van de zorgverleners en zorginstellingen te bewerkstelligen. Het gemiddelde cijfer per uroloog ten tijde van dit onderzoek werd dus berekend over de waarderingen van maximaal vier jaar. Vanwege de betrouwbaarheid berekent ZorgkaartNederland echter alleen een gemiddeld cijfer als er minimaal negen waarderingen aan een zorgverlener zijn toegekend. Dit betekent dus dat alleen de urologen die in de afgelopen vier jaar minimaal negen waarderingen kregen, uiteindelijk werden meegenomen in de analyse. Volgens ZorgkaartNederland zal dit driekwart van alle waarderingen betreffen.

Daarnaast werden per individuele waardering ook de gemiddelde cijfers verzameld over de verschillende onderdelen waarop een uroloog beoordeeld kan worden: ‘luisteren’, ‘uitleg’, ‘deskundigheid’, ‘voor- en nadelen’, ‘samen beslissen’, ‘samenwerking’ en ‘behandeling’.

Tot slot zijn de verschillende waarderingen binnen elk subspecialisme en dan weer per aandoening binnen de urologie geanalyseerd. Omdat ZorgkaartNederland bij de berekening van die gemiddelden ook beoordelingen ouder dan vier jaar betrekt, zijn die gemiddelde cijfers niet meegenomen in de verdere analyses.

De descriptieve analyses en de analysis of variance werden uitgevoerd met Statistical Package for Social Science SPSS v. 27. Berekeningen werden als significant gezien indien p ≤ 0,05.

Het maximale aantal beoordelingen voor een uroloog waarmee een gemiddelde werd berekend, was 256. Met het minimaal aantal beoordeling van negen dat nodig was om een gemiddelde te berekenen, kwam de mediaan van het totaal aantal beoordeling op 12.

In totaal 68 urologen (61,2%) kreeg een gemiddeld cijfer van 9 of hoger en twee urologen (1,8%) kregen een cijfer lager dan een 5,5, met als laagst gerapporteerde gemiddelde cijfer een 5,1. Hiermee komt het gemiddelde cijfer van de 111 urologen op ZorgkaartNederland uit op een 9,0 waarbij de mediaan op een 9,3 uitkomt. Voor de verdeling van cijfers zie fig. 1.

Er bleek geen significante relatie te zijn in het aantal beoordelingen dat een uroloog kreeg en het gemiddelde cijfer (p = 0,665). Van de 111 urologen waren 94 mannen (85%) en 17 (15%) vrouwen geregistreerd. Vrouwelijke urologen scoorden met een gemiddeld cijfer van 9,4 significant hoger op ZorgkaartNederland (p = 0,050) dan hun mannelijke collega’s (gemiddeld 8,9). Het gemiddeld aantal beoordelingen was niet significant verschillend tussen mannelijke en vrouwelijke urologen (p = 0,204).

De 111 urologen werkten verspreid over 57 behandelcentra; de meeste in een perifeer ziekenhuis (n = 89; 80%). 14 urologen (13%) waren werkzaam in een zelfstandig behandelcentrum (ZBC), en acht (7%) in een academisch centrum. Er werd een significant verschil gevonden tussen het soort ziekenhuis en het aantal beoordelingen (p < 0,001). ZBC-urologen ontvangen gemiddeld 74 beoordelingen met een mediaan van 66; urologen in een perifeer of academisch centrum gemiddeld 13 respectievelijk 14. Tussen het soort ziekenhuis waar een uroloog werkt en het gemiddelde cijfer per waardering werd geen significant verschil gevonden.

De gemiddelde cijfers per onderdeel waarop een uroloog beoordeeld kan worden staan in tab. 1. Het onderdeel ‘deskundigheid’ wordt als beste beoordeeld (gem. 9,1) en het onderdeel ‘behandeling’ het laagst (gem. 8,9). Er werden geen significante verschillen gevonden tussen de verschillende onderdelen en de gemiddelde cijfers.

Vanwege de toepasbaarheid van patiëntbeoordelingen van ZorgkaartNederland is er gekeken naar hoe representatief de beoordelingen van urologen op ZorgkaartNederland zijn. Daarbij kreeg slechts een kwart van de urologen op ZorgkaartNederland voldoende beoordelingen om een betrouwbaar en daarmee representatief beeld te geven van de zorg die wordt verleend door urologen in Nederland, gedefinieerd door ZorgkaartNederland. De meeste urologen met voldoende beoordelingen zijn man (85%), terwijl de vrouwelijke urologen significant hoger scoren op ZorgkaartNederland met een gemiddeld cijfer van 9,4.

Dit brengt ons bij de eerste mogelijke vertekening van ZorgkaartNederland. ZorgkaartNederland stelt dat door de beoordelingen van de laatste vier jaar mee te nemen in combinatie met minimaal negen beoordelingen, hiermee zeker driekwart van de zorgverleners genoeg beoordelingen krijgt voor een actueel en betrouwbaar beeld per beroepsgroep. Uit onze data blijkt echter dat slechts 27% van de urologen voldoende beoordelingen krijgt. Oftewel, te weinig urologen krijgen genoeg beoordelingen om een afspiegeling te vormen van de kwaliteit van zorg die gegeven wordt binnen de urologie.

Het grootste deel van de groep urologen die voldoende waarderingen krijgen, blijkt te werken in een perifeer ziekenhuis (80%). Urologen die in een ZBC werken, zijn in de minderheid, maar kregen significant meer beoordelingen (een uroloog kreeg zelfs 256 beoordelingen) en kwamen daarom significant vaker in aanmerking voor een waardering op ZorgkaartNederland. Dit is een tweede bias in het kader van representativiteit. Mogelijk sturen ZBC’s meer aan op het achterlaten van beoordelingen op ZorgkaartNederland dan academische en perifere centra. Deze oververtegenwoordiging van beoordelingen leidt tot weer een andere mogelijke bias. Veel waarderingen kunnen immers ook een vertekend beeld geven van de betrouwbaarheid van die waarderingen, want een hoog cijfer in combinatie met veel waarderingen komt betrouwbaarder over dan een hoog cijfer bij weinig waarderingen, zoals bij de meeste urologen op ZorgkaartNederland het geval is.

De waarderingen bewegen zich tussen uitersten, met óf extreem hoge, óf extreem lage cijfers. De gemiddelden variëren van een 10 tot een 5,1, waarbij opvalt dat meer dan de helft van alle waarderingen uitkomt op een extreem hoog gemiddelde (9 of hoger). Dit doet vermoeden dat patiënten met name gemotiveerd worden om een waardering achter te laten door een extreem goede dan wel een extreem slechte ervaring met een zorgverlener. De vraag is in hoeverre ZorgkaartNederland daarmee een betrouwbare afspiegeling is van patiënttevredenheid.

Voor dit onderzoek hebben we enkel de data verzameld van de 410 urologen op ZorgkaartNederland. Er staan echter 78.685 zorgverleners op. Onze bevindingen kunnen niet geëxtrapoleerd worden naar die andere groepen zorgverleners.

Wij hebben data verzameld op ZorgkaartNederland die vrij beschikbaar zijn. We hebben aan ZorgkaartNederland gevraagd om aan ons de ruwe data te verstrekken, maar ze wilden deze data niet met ons delen. Omdat we niet alle gegevens tot onze beschikking hebben, kan het zijn dat vertekeningen die wij uit onze gegevens halen, mogelijk niet juist zijn in de zin dat andere groepen zorgverleners wel meer beoordelingen krijgen of een normalere verdeling van beoordelingen laten zien.

Daarnaast focussen wij ons met name op de representativiteit van de beoordelingen in het kader van kwaliteit van zorg voor beleidsbepalers. ZorgkaartNederland heeft echter een andere belangrijke functie voor patiënten, namelijk hen een anonieme stem geven op een makkelijk te bereiken medium en hen de mogelijkheid geven te kiezen op basis van informatie. Op basis van onze verzamelde data van urologen kunnen we geen conclusies trekken over deze andere functie van ZorgkaartNederland.

ZorgkaartNederland is een platform voor patiënten om anoniem ervaringen met betrekking tot zorgverleners te kunnen delen. Dit maakt het voor beleidsbepalers een interessant medium om data te verzamelen in het kader van kwaliteit van zorg. Op meerdere punten lijken deze beoordelingen voor urologen echter een niet-representatief beeld te geven. Ten eerste krijgt ruim 73% van de urologen op ZorgkaartNederland onvoldoende beoordelingen, wat door door ZorgkaartNederland zelf gedefinieerd is als ‘minimaal negen beoordelingen in de laatste vier jaar’. Ten tweede krijgen urologen die werkzaam zijn in ZBC’s significant meer beoordelingen dan hun collega’s die werkzaam zijn in een perifeer of academisch centrum. Aangezien het merendeel van de urologen juist werkt in een perifeer ziekenhuis doen deze cijfers vermoeden dat ZBC’s patiënten meer aansturen op het achterlaten van een beoordeling. Als laatste doen de grote hoeveelheid extreem hoge beoordelingen op ZorgkaartNederland én het gat tussen die hoge beoordelingen enerzijds en de lage beoordelingen anderzijds vermoeden dat patiënten enkel een beoordeling achterlaten indien ze met een extreem goede, dan wel een slechte ervaring met de zorg binnen de urologie te maken hebben.

Op basis van de beschreven argumenten concluderen we dat patiëntgerapporteerde waarderingen over urologen op ZorgkaartNederland onvoldoende representatief zijn.