Skip to main content
main-content
Top

Tip

Swipe om te navigeren naar een ander artikel

Gepubliceerd in: TSG - Tijdschrift voor gezondheidswetenschappen 4/2021

Open Access 11-10-2021 | Wetenschappelijk artikel

Nederlandse vertaling en eerste stappen in validatie van de PPEET om burger- en patiëntenparticipatie te evalueren

Auteurs: Laura Bavelaar, Lisa S. van Tol, Monique A. A. Caljouw, Jenny T. van der Steen

Gepubliceerd in: TSG - Tijdschrift voor gezondheidswetenschappen | Uitgave 4/2021

share
DELEN

Deel dit onderdeel of sectie (kopieer de link)

  • Optie A:
    Klik op de rechtermuisknop op de link en selecteer de optie “linkadres kopiëren”
  • Optie B:
    Deel de link per e-mail
insite
ZOEKEN

Samenvatting

Hoewel het belang van burger- en patiëntenparticipatie wordt erkend, ontbreekt een Nederlandse maat om de impact van participatie te evalueren. De Canadese Public and Patient Engagement Evaluation Tool (PPEET) is een Engelstalig instrument dat ontwikkeld is om participatie te evalueren. Het instrument bestaat uit drie modules, gericht op verschillende betrokkenen in het participatieproces: burger- of patiëntparticipanten, projectcoördinatoren en organisatiemanagers. Wij vertaalden dit instrument naar het Nederlands volgens de ‘vertalen-en-terugvertalen’-methode. Vervolgens vulden 46 deelnemers de vragenlijsten in, scoorden ze de vragen op helderheid en gaven ze schriftelijk feedback op de formulering van de vragen. De duidelijkheidsscores en het aantal volledige antwoorden gaven een beeld van de haalbaarheid van deze Nederlandse vertaling. De eerste stappen in de validatie van de vragenlijst werden gezet door Cronbach’s alfa (α) te berekenen over de meerkeuzevragen en met een thematische analyse van de antwoorden op de open vragen. De vragenlijst bleek haalbaar en consistent (α ≥ 0,70). De vertaling werd verder verbeterd door vragen te herformuleren en één vraag te verwijderen op basis van de feedback van de deelnemers. Toekomstige projecten kunnen deze vertaalde PPEET toetsen in een grotere groep, met aandacht voor de constructvaliditeit, en na validatie gebruiken om participatie te evalueren en vergelijken.

Inleiding

In de gezondheidszorg is de laatste decennia toenemende aandacht voor de participatie van burgers, patiënten en hun naasten (hierna: participanten). In de jaren negentig van de vorige eeuw werd de positie van patiënten en cliënten vastgelegd, in onder andere de Wet Medezeggenschap Cliënten Zorginstellingen (WMCZ, 1996) [1]. Elke Nederlandse zorgorganisatie (onder andere ziekenhuizen, verpleeghuizen) is sindsdien verplicht om een patiënten- of cliëntenraad te hebben die betrokken is bij de besluitvorming [2]. Participatie kan plaatsvinden in uiteenlopende contexten: binnen onderzoek en innovatie, beleid en onderwijs [35]. De algemene opvatting is inmiddels dat participatie leidt tot democratisering van de gezondheidszorg [5], de kwaliteit van projecten ten goede komt en resulteert in uitkomsten die beter aansluiten bij de wensen en behoeften van de doelgroep [3, 5]. Voor participanten kan participatie persoonlijke zingeving brengen en empowerment vergroten [6]. De afgelopen jaren zijn er richtlijnen ontwikkeld om participatie vorm te geven [1, 7, 8].
Participatie is betekenisvol als de inbreng van de participanten impact heeft op activiteiten of processen, en verandering teweegbrengt [9]. Wanneer die impact optimaal is, is echter lastig te zeggen – participatie kan ook betekenisvol zijn als ze uiteindelijk geen verandering teweegbrengt. Dit is afhankelijk van vele factoren, zoals de doelen van verschillende betrokkenen en de context van het project [4, 5, 7]. In de internationale literatuur zijn instrumenten om de impact van participatie te evalueren daarom schaars [3, 7, 10]. Bovendien zijn ze vaak ontworpen voor gebruik in een specifieke organisatie of (patiënt)populatie en niet geschikt om participatie in verschillende projecten met elkaar te vergelijken [7, 10].
De Canadese Public and Patient Engagement Evaluation Tool (PPEET) is een van de eerste instrumenten voor het evalueren van participatieactiviteiten die breed toepasbaar zijn binnen de gezondheidszorg [7]. Dat betekent dat met de PPEET vormen van participatie in verschillende projecten wel met elkaar kunnen worden vergeleken. De PPEET is gebaseerd op vier kernprincipes voor participatie. Naast invloed en impact zijn dat integriteit van de opzet en het proces van participatie, de participatiecultuur, en samenwerking en gemeenschappelijke doelen [7]. De PPEET bestaat uit vragenlijsten aan drie groepen betrokkenen bij participatie (zie fig. 1; [7, 11]). Onder participanten vallen burgers, patiënten of hun naasten die als adviseur of als gelijkwaardige partner in een project participeren. Onder patiënten rekenen we alle zorggebruikers en hun vertegenwoordigers, zoals vertegenwoordigers vanuit een patiëntenorganisatie of een cliëntenraad. Projectcoördinatoren zijn uitvoerders van projecten waarin de participatie plaatsvindt. Tot organisatiemanagers rekenen we bestuurders van organisaties waarbinnen projecten met participatieactiviteiten plaatsvinden.
Ons doel was om de PPEET naar het Nederlands te vertalen en de eerste stappen in validatie te zetten door twee onderdelen van validatie te bepalen: de haalbaarheid en betrouwbaarheid van deze vertaling, om de PPEET in Nederland te kunnen gebruiken. In dit artikel bedoelen we met participatie: werken mét of dóór patiënten, hun naasten of burgers, in plaats van enkel werken vóór hen of óver hen. Deze omschrijving is gebaseerd op de internationaal veelgebruikte definitie van INVOLVE, de Engelse adviesgroep die participatie in zorg en onderzoek ondersteunt [12].

Methode

Onderzoeksopzet

Deel 1 van dit onderzoek betrof het ontwikkelen van een Nederlandse vertaling van de PPEET, volgens de ‘vertalen-en-terugvertalen’-methode. Deel 2 van dit onderzoek bestond uit een mixed methods-onderzoek naar de haalbaarheid en betrouwbaarheid van de vertaalde vragenlijsten. Onder haalbaarheid verstaan we het volledig en juist kunnen invullen van de vragenlijsten door respondenten.

Vertaalproces

De ontwikkelaars van de PPEET gaven toestemming om deze te gebruiken en te vertalen, en waren beschikbaar voor advies (Abelson, persoonlijke communicatie, 4 maart 2020). We vertaalden de PPEET volgens de richtlijnen voor goede praktijk van Wild en collega’s [13]: LB en LST (met Nederlands als moedertaal, vloeiend in Engels) vertaalden de PPEET onafhankelijk van elkaar naar het Nederlands. In overleg maakten ze van deze vertalingen één consensusvertaling. Een tweetalige, professionele vertaler verzorgde een terugvertaling van de consensusvertaling. LB en LST vergeleken de terugvertaling met de originele PPEET en in overleg met de vertaler werd consensus bereikt over de voorlopige vertaling van de PPEET.

Werving en deelnemers

Binnen de drie relevante doelgroepen wierven we personen die betrokken waren bij participatie in onderzoek-, onderwijs- en beleidsprojecten binnen de zorg. Inclusiecriteria waren: ervaring met burger- en patiëntenparticipatie binnen de zorg en een leeftijd van 18 jaar of ouder. In de eerste wervingsronde (mei tot augustus 2020) werden deelnemers binnen de ouderenzorg per e‑mail benaderd uit het professionele netwerk van LB en LST. Enkele geïncludeerde deelnemers werden gevraagd om andere potentiële deelnemers te benaderen (snowball sampling). Er werden maximaal drie herinneringen gestuurd. In juli werd een tweede wervingsronde gestart. LB en LST benaderden personen buiten hun netwerk, van wie een bijdrage aan beschikbare participatie-toolkits, publicaties of rapporten bekend was.
De deelnemers ontvingen een e‑mail met informatie over het onderzoek, de voorlopige vertaling van de vragenlijsten voor hun doelgroep en een feedbackformulier. Op dit formulier konden ze per vraag een score voor de duidelijkheid aangeven op een schaal van 1 (‘onduidelijk’) tot 10 (‘duidelijk’) [14]. Ook vroegen we de deelnemers om per vraag als feedback in een open veld toelichtingen, opmerkingen of suggesties ter verbetering te noteren. Zo vond een schriftelijke cognitive debriefing plaats (en dus niet via de gebruikelijke interviewmethode) [15, 16]. Deelnemers werden gevraagd om de vragenlijst in te vullen op basis van een recente ervaring met een participatieproject.

Benodigd aantal deelnemers

Om de helderheid van een vragenlijst vast te kunnen stellen wordt een groepsgrootte van vijf tot acht deelnemers geadviseerd. Om de interne consistentie door middel van Cronbach’s alfa te kunnen berekenen, gingen we uit van een power van 80%. De benodigde groepsgrootte voor een power van 80% is afhankelijk van het aantal vragen met een likertschaal in de vragenlijst [17]. Dit varieerde van vier voor de projectvragenlijst tot 23 voor de organisatievragenlijst. Bij deze aantallen hoort een minimale groepsgrootte van respectievelijk veertien en elf onderzoeksdeelnemers. We trachtten daarom in elk van de drie doelgroepen minimaal veertien onderzoeksdeelnemers te includeren. We verwachtten dat dit aantal voldoende was om saturatie te bereiken in de kwalitatieve analyses [18].

Betrouwbaarheidsbepaling

Om de interne consistentie te bepalen werd per module Cronbach’s alfa (α) berekend over de vragen met als antwoordoptie een likertschaal. Een α ≥ 0,70 werd als aanvaardbaar beschouwd [17]. Deze maat werd berekend over het aantal deelnemers dat alle vragen met een likertschaal (correct) had beantwoord. De organisatievragenlijst bevatte de antwoordoptie ‘Weet ik niet’ en daarom werd voor deze vragenlijst een aanvullende sensitiviteitsanalyse uitgevoerd. In de oorspronkelijke Cronbach’s α-berekening werden ‘Weet ik niet’-antwoorden geëxcludeerd, in de aanvullende analyse werden ‘Weet ik niet’-antwoorden beschouwd als ‘Niet mee eens, niet mee oneens’ en geïncludeerd in de berekening.
Om de indruksvaliditeit te bepalen werden de antwoorden op de open vragen gecodeerd volgens een exploratieve inductieve thematische analyse [19]. LST codeerde de antwoorden, waarna alle codes in een consensusbespreking aan LB werden voorgelegd.

Haalbaarheidsbepaling

Per vraag werd het percentage ontbrekende antwoorden, ofwel opengelaten antwoordvelden, bepaald. Een vragenlijst werd in totaal als haalbaar beschouwd bij maximaal 10% ontbrekende antwoorden. Daarnaast werd de gemiddelde duidelijkheidsscore berekend. Voor vragen met een gemiddelde duidelijkheidsscore van ≥ 8 werd de vraag als duidelijk beschouwd. Vragen met een gemiddelde duidelijkheidsscore van < 4 werden als onduidelijk beschouwd en moesten worden geherformuleerd of eventueel worden verwijderd (bij verschillende, tegenstrijdige interpretaties of ernstige problemen in helderheid of taalgebruik waarvoor herformulering geen oplossing biedt) [14]. Bij gemiddelde duidelijkheidsscores van 4–8 werden vragen geherformuleerd aan de hand van de feedback van de onderzoeksdeelnemers [14].
De feedback van de onderzoeksdeelnemers werd samengevat en gecodeerd volgens de vier categorieën uit Knafl et al. [15]:
1.
‘beperkt van toepassing’: de vraag is niet van toepassing voor de respondent of diens participatiecontext;
 
2.
‘onduidelijke verwijzing’: het is onduidelijk naar welk aspect van participatie of welke situatie de vraag informeert;
 
3.
‘onduidelijk perspectief’: het is onduidelijk of de respondent vanuit het eigen perspectief moet antwoorden of vanuit het perspectief van een groep of organisatie;
 
4.
‘woordgebruik/toon’: het taalgebruik is verwarrend of ongepast.
 
LST codeerde de feedback, waarna alle codes aan LB werden voorgelegd en een consensusbespreking plaatsvond.
LB en LST deden individueel een voorstel voor herformulering of eventueel verwijdering van vragen, waarna een consensusbespreking volgde. Wanneer geen consensus werd bereikt of onduidelijkheid over de interpretatie van de vraag bleef bestaan, werden de ontwikkelaars van de PPEET geconsulteerd.

Sensitiviteitsanalyse

In een aanvullende sensitiviteitsanalyse werden Cronbach’s alfa en de haalbaarheid nogmaals bepaald, waarbij enkel vragen werden meegenomen met een gemiddelde duidelijkheidsscore van ≥ 7. In het Nederlandse schoolcijfersysteem staat dit voor minimaal ruim voldoende.

Medisch-ethische goedkeuring en informed consent

De medisch-ethische toetsingscommissie Leiden-Den Haag-Delft verklaarde dat het onderzoek niet WMO-plichtig is en kon doorgaan (protocolnummer: N14.119, 28-08-2020). Deelnemers werd duidelijk gemaakt dat ze toestemming gaven voor deelname aan het onderzoek door de vragenlijst te retourneren. Hun antwoorden werden voorafgaand aan de analyses niet-herleidbaar gemaakt.

Resultaten

Deelnemers

Na de twee wervingsrondes ontvingen we van de participanten vijftien van de achttien (83%) verstuurde vragenlijsten en feedbackformulieren retour. Drie personen antwoordden niet. Van de projectcoördinatoren ontvingen wij zestien van de twintig (80%) vragenlijsten. Drie personen antwoordden niet en één persoon wilde niet deelnemen. Van de organisatiemanagers kregen wij vijftien van de 27 (56%) formulieren terug. Zes personen gaven aan geen tijd of te weinig inzicht in het participatieproces te hebben om feedback te geven. Zes anderen antwoordden niet.
De meerderheid van de deelnemers was hoog opgeleid en vrouw. De participanten waren voornamelijk oudere personen. Onderzoek, onderwijs en beleid in de gezondheidszorg waren vertegenwoordigd (tab. 1).
Tabel 1
Demografische kenmerken deelnemers (N = 46)
 
participantena
(n = 15)b
projectcoördinatoren
(n = 16)b
organisatiemanagers
(n = 15)b
leeftijd, gemiddeld (sd)
73 (4)
40 (15)
48 (10)
geslacht, % vrouw
50
93
79
opleidingsniveau
geen onderwijs tot en met voortgezet middelbaar onderwijs
 0
 0
 0
hoger onderwijs, gedeeltelijk
 6
 0
 0
bachelorgraad
 2
 0
 0
doctoraal/mastergraad of PhD
 6
14
14
participatiecontext
onderwijs
 2
 1
 2
onderzoek
 6
10
 6
beleid
 6
 5
 7
aEén participant nam twee keer deel (voor twee verschillende onderwijsactiviteiten)
bLeeftijd en opleidingsniveau ontbreken van één participant, twee projectcoördinatoren en één organisatiemanager

Haalbaarheid

De gemiddelde duidelijkheidsscores voor de verschillende onderdelen van de vragenlijsten varieerden van 5–10 (tab. 2). Feedback van alle groepen betrof het vaakst de categorie ‘woordgebruik/toon’. Zowel participanten als organisatiemanagers vonden het woord ‘personeelslid’ minder vriendelijk klinken dan ‘medewerker’.
Tabel 2
Gemiddelde duidelijkheidsscores per onderdeel van de PPEET-vragenlijsten
aantal vragen (n)
per duidelijkheids-scoregroepa
< 4
4–7
≥ 8
participantenvragenlijst (beoordeeld door n=13)
module A. Eenmalige participatieactiviteiten
21
 8
13
– achtergrondinformatie
 2
 2
– deel I. Communicatie en ondersteuning voor participatie
 4
 3
 1
– deel II. Het delen van uw mening en invalshoek
 5
 2
 3
– deel III. Impact en invloed van de participatieactiviteit
 4
 1
 3
– deel IV. Ter afsluitingb
 6
 6
module B. Structurele participatieactiviteiten
22
 5
17
– achtergrondinformatie
 2
 2
– deel I. Communicatie en ondersteuning voor participatie
 4
 4
– deel II. Het delen van uw mening en invalshoek
 5
 1
 4
– deel III. Impact en invloed van de participatieactiviteit
 5
 2
 3
– deel IV. Ter afsluitingb
 6c
 6
appendix
 6
 1
 5
projectvragenlijst (beoordeeld door n=13)
module A. Het plannen van de participatiecomponent van uw project
15
10
 5
– achtergrondinformatie
 2
 1
 1
– deel I. Integriteit van ontwerp en proces
 8
 7
 1
– deel II. Samenwerking, gemeenschappelijke doelen en partnerschap
 3
 2
 1
– deel III. Ter afsluitingb
 2
 2
module B. Het beoordelen van de participatiecomponent van uw project
15
 2
13
– deel I. Integriteit van ontwerp en proces
 5
 1
 4
– deel II. Invloed en impact
 3
 3
– deel III. Samenwerking, gemeenschappelijke doelen en partnerschap
 3
 3
– deel IV. Ter afsluitingb
 4
 1
 3
module C. Het beoordelen van de impact van de participatiecomponent van uw project
 8
 4
 4
organisatievragenlijst (beoordeeld door n=14)
30
15
15
– achtergrondvragen
 4
 2
 2
– deel I. Beleid en praktijken die burger- en patiëntenparticipatie ondersteunen
 6
 3
 3
– deel II. Participatiecultuur
 9
 6
 3
– deel III. Invloed en impact
 5
 2
 3
– deel IV. Samenwerking en gemeenschappelijke doelen
 3
 2
 1
– deel V. Ter afsluitingb
 3
 3
aScoreschaal: 1–10; < 4: onduidelijk, ≥ 8: duidelijk, 4–7: nog niet volledig helder
bDit deel bevat algemene vragen over de participatie in zijn geheel.
cDit is het aantal vragen in de oorspronkelijke vragenlijst. In de Nederlandse vertaling zijn uiteindelijk vijf van deze zes vragen opgenomen.
De vragenlijsten waren niet altijd volledig of correct ingevuld. Een incorrect antwoord dat een aantal keer voorkwam was het aankruisen van meer dan een antwoordoptie bij een vraag met een likertschaal.
De participanten gaven 625 (88%) correcte en 27 (4%) incorrecte antwoorden. Er ontbraken 18 (3%) antwoorden voor niet-optionele en 40 (6%) voor optionele vragen. Het merendeel van de vragen (35/49, 71%) was ‘duidelijk’ (score ≥ 8). Alle open vragen scoorden ≥ 8. Veertien van 49 vragen (29%) en de introductieteksten scoorden 6–7. Participanten gaven bij twaalf van deze vragen en introductieteksten feedback in de categorie ‘woordgebruik/toon’, bij vier vragen en één introductietekst ‘onduidelijke verwijzing’, bij drie vragen ‘onduidelijk perspectief’ en bij één vraag ‘beperkt van toepassing’. Uit de feedback ‘onduidelijk perspectief’ bleek onduidelijk te zijn om wiens participatiedoelen het gaat: de eigen (van de participant) of die van het project/de organisatie. Eén vraag uit de appendix werd verwijderd omdat deze ongepast werd gevonden. Dit was de vraag of de deelnemer zich tot een van de aangegeven groepen rekende, waarna verschillende kwetsbare groepen werden genoemd.
De projectcoördinatoren gaven 441 (87%) correcte en 22 (4%) incorrecte antwoorden. Er ontbraken 27 (5%) antwoorden voor niet-optionele en vijftien (3%) voor optionele vragen. Van de 38 vragen scoorden 22 (58%) ≥ 8, die dus ‘duidelijk’ werden gevonden. De overige 16/38 vragen (42%) en de introductieteksten scoorden 6–7. De feedback hierbij betrof bij zestien vragen en de introductieteksten de categorie ‘woordgebruik/toon’, bij negen vragen en twee introductieteksten ‘onduidelijke verwijzing’, bij twee vragen en één introductietekst ‘onduidelijk perspectief’ en bij twee vragen ‘beperkt van toepassing’. In de categorie ‘onduidelijke verwijzing’ was van ‘participatieplan’ niet helder of dit naar een onderzoeksplan of een algemeen beleid verwees. Formele afspraken en bijbehorende terminologie rondom participatie kwamen veel voor in deel I van module A. Deze werden geregeld niet duidelijk gevonden.
De organisatiemanagers gaven 315 (88%) correcte en twee (1%) incorrecte antwoorden. Er ontbraken twaalf (3%) antwoorden voor niet-optionele en 31 (9%) voor optionele vragen. Veertien van dertig vragen (47%) waren ‘duidelijk’ (score ≥ 8). Zestien vragen (53%) en de introductietekst scoorden 5–7. De feedback hierbij betrof bij zestien vragen en de introductietekst de categorie ‘woordgebruik/toon’, bij negen vragen en de introductietekst ‘onduidelijke verwijzing’, bij twee vragen ‘onduidelijk perspectief’ en bij één vraag ‘beperkt van toepassing’. In de categorie ‘beperkt van toepassing’ bleek dat ‘afdelingshoofden’ beter van toepassing zou zijn op onderzoeksinstellingen dan ‘bestuurders’. Ook in de organisatievragenlijst kwamen formele afspraken en bijbehorende terminologie rondom participatie veel voor in deel II. Deze werden geregeld niet duidelijk gevonden.

Betrouwbaarheid

Module A (Cronbach’s alfa (α) = 0,91, aantal deelnemers (n) = 13) en module B (α = 0,90; n = 13) van de participantenvragenlijst hadden een Cronbach’s α > 0,70. Van de projectvragenlijst scoorden module B (α = 0,71; n = 13) en module C (α = 0,99; n = 9) boven de grens van 0,70. Module A scoorde echter α = 0,67 (n = 11). De interne consistentie van de organisatievragenlijst werd berekend op basis van vier personen die de vragenlijst volledig hadden ingevuld, zonder gebruik te maken van de ‘Weet ik niet’-antwoordoptie, en scoorde α = 0,72. Een sensitiviteitsanalyse op basis van acht volledig ingevulde vragenlijsten, waarbij ‘Weet ik niet’-antwoorden als ‘Niet mee eens, niet mee oneens’ werden beschouwd, gaf α = 0,94 (n = 8). De power van deze berekeningen op basis van vier tot acht personen ligt echter onder de gestelde grenswaarde van 80%.
In de participantenvragenlijst verwees 60% van de antwoorden op open vragen terug naar onderwerpen uit eerdere vragen (als extra toelichting), 31% van de antwoorden droeg nieuwe thema’s aan. De open vragen in de projectvragenlijst waren voornamelijk ‘beschrijf’-vragen (in plaats van evaluerende vragen) en de meeste antwoorden sloten daar goed bij aan. De open vragen in de organisatievragenlijst boden de mogelijkheid tot extra toelichting op eerder gestelde gesloten vragen. De meeste antwoorden sloten goed aan bij de vragen.

Sensitiviteitsanalyse

Wanneer alleen ruim voldoende heldere vragen (duidelijkheidsscore ≥ 7) werden meegenomen, veranderde Cronbach’s alfa maximaal 0,05 vergeleken met de hierboven genoemde waarden. Percentages correcte, incorrecte en ontbrekende antwoorden veranderden maximaal 2% vergeleken met de hierboven genoemde percentages. De interpretatie van de resultaten bleef gelijk (zie digitaal aanvullende content A).
Een overzicht van de duidelijkheidsscores, feedback en responspercentages van de voorlopige vertaling van de PPEET is beschikbaar in digitaal aanvullende content B. De uiteindelijke vertaling van de vragenlijsten waarin de feedback is verwerkt is te vinden in digitaal aanvullende content C.

Beschouwing en conclusie

We hebben een Nederlandse versie van de PPEET ontwikkeld als hulpmiddel bij het plannen, uitvoeren en evalueren van participatie in onderzoek, onderwijs en beleid in de gezondheidszorg. Participanten, projectleiders en organisatiemanagers vonden alle vragen uit de voorlopige vertalingen voldoende helder en beantwoordden slechts enkele vragen niet (gemiddeld 4%) of incorrect (gemiddeld 3%). De participanten- en projectvragenlijsten bleken consistent of op de grenswaarde van acceptabele consistentie te scoren. De consistentie van de organisatievragenlijst lag boven de grenswaarde, maar werd berekend op basis van een te klein aantal deelnemers. Aanpassingen aan de hand van de feedback hebben wellicht geleid tot een verbeterde consistentie. De feedback van de deelnemers werd in alle vragenlijsten verwerkt, ofwel: wanneer verbeterpunten voor de organisatievragenlijst van toepassing waren werden ze ook toegepast in de project- en participantenvragenlijsten.
Het responspercentage voor organisatiemanagers was lager dan voor participanten en projectcoördinatoren. Dit kan mogelijk worden verklaard doordat organisatiemanagers vaak minder direct betrokken zijn bij participatie dan participanten en projectcoördinatoren.
Opvallend was dat de feedback impliceerde dat participatie in Nederland minder formeel georganiseerd is dan sommige vragen suggereren. Wellicht is participatie in Canada verder geformaliseerd dan in Nederland. In literatuur over participatie in de zorg vonden we echter alleen dat participatie zowel in Nederland als in Canada minder sterk geformaliseerd is dan in het Verenigd Koninkrijk [20, 21]. Uit de feedback bleek bovendien dat deelnemers behoefte hadden aan een definitie van participatie in de introductieteksten. Dit duidt erop dat in de internationale literatuur een eenduidige terminologie rond participatie ontbreekt, wat interpretatie bemoeilijkt [21]. We hebben een definitie toegevoegd: ‘Participatie is het betrekken van patiënten, cliënten, hun naasten, ervaringsdeskundigen of burgers, en hen invloed laten hebben op besluitvormende processen uit de praktijk van onderzoek, beleid en zorg’ (naar [22]). Uit resultaten van de Canadese evaluatie bleek eveneens dat deelnemers de formulering van vragen soms ingewikkeld vonden en van mening waren dat het doel van de vragenlijst niet helder was [11].
Veel participanten vonden de vraag tot welke van de verschillende genoemde kwetsbare groepen ze zich rekenden onduidelijk, onnodig of ongepast. Mogelijk spreekt hieruit de recente ontwikkeling van inclusief taalgebruik [23]. De gepastheid van een vraag naar seksuele voorkeur, genderidentiteit, migratieachtergrond, of beperkingen is zeer afhankelijk van de situatie [23]. Ook uit de resultaten van de Canadese evaluatie blijkt dat sommige deelnemers de vraag ongepast vonden [11]. We hebben de vraag daarom verwijderd en raden gebruikers aan om zelf een specifieke vraag toe te voegen die alleen naar voor het gebruiksdoel relevante achtergrondinformatie van de deelnemer vraagt. Een vergelijkbare aanpak staat beschreven in het begeleidend document bij de PPEET [24].
Verder gaven de deelnemers aan dat ze de antwoordoptie ‘Niet van toepassing’ misten voor de participanten- en projectvragenlijsten. Deze optie besloten wij daarom toe te voegen. Een vergelijkbare suggestie was gedaan in Canada voor de organisatievragenlijst, die er vervolgens een ‘Weet ik niet’-antwoordoptie bij kreeg [11].

Sterke punten en beperkingen van het onderzoek

Een sterk punt van dit onderzoek is dat we de PPEET hebben vertaald volgens richtlijnen van goede praktijk [13]. Dit bevordert de kwaliteit van vragenlijstresultaten en de vergelijkbaarheid tussen verschillende contexten [13]. Daarnaast hebben we in dit onderzoek de eerste stappen in de validatie gezet door twee onderdelen van validatie te bepalen: de haalbaarheid en de betrouwbaarheid.
Dit onderzoek kent ook enkele beperkingen. Ten eerste kwamen de sensitiviteitsanalyses op basis van minder items overeen met de oorspronkelijke analyses, waardoor de vertaling mogelijk redundante items bevat. Om de validiteit volledig te bepalen is toetsing in een grotere groep mensen nodig, zodat ook de constructvaliditeit kan worden bepaald. Ten tweede was het merendeel van de deelnemers hoogopgeleid en waren participanten veelal ouderen. De helderheid van de Nederlandse PPEET voor mensen met een lagere opleiding en voor jongeren vereist verder onderzoek. Het hoge opleidingsniveau van de participanten is echter representatief voor deze groep [25]. De deelnemers zijn deels geworven binnen de ouderenzorg, wat ook als een sterk punt kan worden gezien omdat participatiemethoden binnen de ouderenzorg nog onvoldoende ontwikkeld zijn [26, 27]. Daarnaast leverde de schriftelijke feedback mogelijk beperktere feedback op ten opzichte van cognitive debriefing door middel van interviews [15]. De deelnemers aan ons onderzoek hebben echter de hele vragenlijst ingevuld en beoordeeld, terwijl cognitive debriefing zich vaak beperkt tot een selectie uit de vragenlijst om de lengte van dergelijke interviews te beperken [28]. Bovendien konden de deelnemers de vragenlijsten in hun eigen tempo en omgeving invullen en beoordelen, wat juist rijkere data kan opleveren [29].

Conclusie en implicaties

Wij stellen een Nederlandstalige versie van de PPEET beschikbaar. Hierbij is het van belang om per situatie te beschouwen welke vragen uit de PPEET relevant zijn om te stellen en om antwoorden vertrouwelijk te behandelen. Vervolgonderzoek is nodig om na te gaan of de vertaling na de herformulering op basis van de feedback van de deelnemers volledig duidelijk wordt gevonden. En er moet onderzoek worden gedaan voor verdere validatie van de Nederlandse PPEET, waarbij ook de constructvaliditeit en redundantie worden bepaald. Daarna is het interessant om te onderzoeken of de vier kernwaarden van participatie in Nederland in gelijke mate vertegenwoordigd zijn [7]. Ook zou de bruikbaarheid van de PPEET buiten de zorgcontext onderzocht kunnen worden. De door ons vertaalde PPEET kan in Nederland gebruikt worden als hulpmiddel bij het plannen, uitvoeren en evalueren van participatie. Het gebruik van de PPEET als uitkomstmaat vereist meer onderzoek voor het optimaliseren van de vragenlijsten.

Dankbetuiging

We danken professor Julia Abelson en Laura Tripp, MSc, voor het ter beschikking stellen van de PPEET en hun ondersteuning bij het vertaalproces. We danken professioneel vertaler Maggie Oattes voor haar bijdrage aan de vertaling. We willen alle deelnemers hartelijk bedanken voor hun bijdrage aan dit onderzoek.

Financiering

Dit is een EU Joint Programme – Neurodegenerative Disease Research (JPND) project. Het project wordt in Nederland ondersteund door ZonMw-programma Memorabel, met subsidienummer 733051084, onder het label van JPND – www.​jpnd.​eu.
Literatuur
1.
go back to reference Raats I, Brink R van den, Wit F de. Handboek patiënten- en cliëntenparticipatie. Verbeteren van de zorg samen met patiënten/cliënten. Utrecht: CBO; 2013. Raats I, Brink R van den, Wit F de. Handboek patiënten- en cliëntenparticipatie. Verbeteren van de zorg samen met patiënten/cliënten. Utrecht: CBO; 2013.
3.
go back to reference Brett JO, Staniszewska S, Mockford C, et al. Mapping the impact of patient and public involvement on health and social care research: a systematic review. Health Expect. 2014;17:637–50. CrossRef Brett JO, Staniszewska S, Mockford C, et al. Mapping the impact of patient and public involvement on health and social care research: a systematic review. Health Expect. 2014;17:637–50. CrossRef
4.
go back to reference Abelson J, Syrowatka A, Bidonde J, et al. Evaluating patient, family and public engagement in health services improvement and system redesign. Healthc Q. 2018;21(SP):61–7. CrossRef Abelson J, Syrowatka A, Bidonde J, et al. Evaluating patient, family and public engagement in health services improvement and system redesign. Healthc Q. 2018;21(SP):61–7. CrossRef
5.
go back to reference Sandvin Olsen AB, Storm A, Haaland-Overby M, et al. How can we describe impact of adult patient particiation in health-service development? A scoping review. Patient Educ Couns. 2020;103:1453–66. CrossRef Sandvin Olsen AB, Storm A, Haaland-Overby M, et al. How can we describe impact of adult patient particiation in health-service development? A scoping review. Patient Educ Couns. 2020;103:1453–66. CrossRef
6.
go back to reference Roberts C, Rochford-Brennan H, Goodrick J, et al. Our reflections of patient and public involvement in research as members of the European Working Group of People with Dementia. Dementia. 2020;19:10–7. CrossRef Roberts C, Rochford-Brennan H, Goodrick J, et al. Our reflections of patient and public involvement in research as members of the European Working Group of People with Dementia. Dementia. 2020;19:10–7. CrossRef
7.
go back to reference Abelson J, Li K, Wilson G, et al. Supporting quality public and patient engagement in health system organizations: development and usability testing of the Public and Patient Engagement Evaluation Tool. Health Expect. 2016;19:817–27. CrossRef Abelson J, Li K, Wilson G, et al. Supporting quality public and patient engagement in health system organizations: development and usability testing of the Public and Patient Engagement Evaluation Tool. Health Expect. 2016;19:817–27. CrossRef
8.
go back to reference Hughes M, Duffy C. Public involvement in health and social sciences research: a concept analysis. Health Expect. 2018;21:1183–90. CrossRef Hughes M, Duffy C. Public involvement in health and social sciences research: a concept analysis. Health Expect. 2018;21:1183–90. CrossRef
9.
go back to reference Tritter JQ, MacCallum A. The snakes and ladders of user involvement: moving beyond Arnstein. Health Policy. 2006;76:156–68. CrossRef Tritter JQ, MacCallum A. The snakes and ladders of user involvement: moving beyond Arnstein. Health Policy. 2006;76:156–68. CrossRef
10.
go back to reference Boivin A, L’Espérance A, Gauvin F‑P, et al. Patient and public engagement in research and health system decision making: a systematic review of evaluation tools. Health Expect. 2018;21:1075–84. CrossRef Boivin A, L’Espérance A, Gauvin F‑P, et al. Patient and public engagement in research and health system decision making: a systematic review of evaluation tools. Health Expect. 2018;21:1075–84. CrossRef
11.
go back to reference Abelson J, Tripp L, Kandasamy S, et al. Supporting the evaluation of public and patient engagement in health system organizations: results from an implementation research study. Health Expect. 2019;22:1132–43. CrossRef Abelson J, Tripp L, Kandasamy S, et al. Supporting the evaluation of public and patient engagement in health system organizations: results from an implementation research study. Health Expect. 2019;22:1132–43. CrossRef
12.
go back to reference Hayes H, Buckland S, Tarpey M. Briefing notes for researchers: public involvement in NHS, public health and social care research. Eastleigh: INVOLVE; 2012. Hayes H, Buckland S, Tarpey M. Briefing notes for researchers: public involvement in NHS, public health and social care research. Eastleigh: INVOLVE; 2012.
13.
go back to reference Wild D, Grove A, Martin M, et al. Principles of good practice for the translation and cultural adaptation process for Patient-Reported Outcomes (PRO) measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health. 2005;8:94–104. CrossRef Wild D, Grove A, Martin M, et al. Principles of good practice for the translation and cultural adaptation process for Patient-Reported Outcomes (PRO) measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health. 2005;8:94–104. CrossRef
14.
go back to reference Fonseca LBDM, Silveira EA, Lima NM, et al. STOP-Bang questionnaire: translation to Portuguese and cross-cultural adaptation for use in Brazil. J Bras Pneumol. 2016;42:266–72. CrossRef Fonseca LBDM, Silveira EA, Lima NM, et al. STOP-Bang questionnaire: translation to Portuguese and cross-cultural adaptation for use in Brazil. J Bras Pneumol. 2016;42:266–72. CrossRef
15.
go back to reference Knafl K, Deatrick J, Gallo A, et al. The analysis and interpretation of cognitive interviews for instrument development. Res Nurse Health. 2007;30:224–34. CrossRef Knafl K, Deatrick J, Gallo A, et al. The analysis and interpretation of cognitive interviews for instrument development. Res Nurse Health. 2007;30:224–34. CrossRef
16.
go back to reference Ridolfo H, Schoua-Glusberg A. Analyzing cognitive interview data using the constant comparative method of analysis to understand cross-cultural patterns in survey data. Field Methods. 2011;23:420–38. CrossRef Ridolfo H, Schoua-Glusberg A. Analyzing cognitive interview data using the constant comparative method of analysis to understand cross-cultural patterns in survey data. Field Methods. 2011;23:420–38. CrossRef
17.
go back to reference Bujang MA, Omar ED, Baharum NA. A review on sample size determination for Cronbach’s alpha test: a simple guide for researchers. Malays J Med Sci. 2018;25:85–99. PubMedPubMedCentral Bujang MA, Omar ED, Baharum NA. A review on sample size determination for Cronbach’s alpha test: a simple guide for researchers. Malays J Med Sci. 2018;25:85–99. PubMedPubMedCentral
18.
go back to reference Guest G, Bunce A, Johnson L. How many interviews are enough? An experiment with data saturation and variability. Field Methods. 2006;18:59–82. CrossRef Guest G, Bunce A, Johnson L. How many interviews are enough? An experiment with data saturation and variability. Field Methods. 2006;18:59–82. CrossRef
19.
go back to reference Hsieh HF, Shannon SE. Three approaches to qualitative content analysis. Qual Health Res. 2016;15:1277–88. CrossRef Hsieh HF, Shannon SE. Three approaches to qualitative content analysis. Qual Health Res. 2016;15:1277–88. CrossRef
20.
go back to reference Osborn R, Squires D. International perspectives on patient engagement: results from the 2011 Commonwealth Fund Survey. J Ambul Care Manage. 2012;35:118–28. CrossRef Osborn R, Squires D. International perspectives on patient engagement: results from the 2011 Commonwealth Fund Survey. J Ambul Care Manage. 2012;35:118–28. CrossRef
21.
go back to reference Manafò E, Petermann L, Vandall-Walker V, et al. Patient and public engagement in priority setting: a systematic rapid review of the literature. PLoS ONE. 2018;13:e193579. CrossRef Manafò E, Petermann L, Vandall-Walker V, et al. Patient and public engagement in priority setting: a systematic rapid review of the literature. PLoS ONE. 2018;13:e193579. CrossRef
23.
go back to reference Zimman L. Transgender language reform: some challenges and strategies for promoting trans-affirming, gender-inclusive language. J Lang Discrim. 2017;1:83–104. Zimman L. Transgender language reform: some challenges and strategies for promoting trans-affirming, gender-inclusive language. J Lang Discrim. 2017;1:83–104.
24.
go back to reference Abelson J, PPEET Research-Practice Collaborative. Public and Patient Engagement Evaluation Tool (PPEET) version 2.0. Hamilton: McMaster University; 2018. Abelson J, PPEET Research-Practice Collaborative. Public and Patient Engagement Evaluation Tool (PPEET) version 2.0. Hamilton: McMaster University; 2018.
25.
go back to reference Davis RE, Jacklin R, Sevdalis N, et al. Patient involvement in patient safety: What factors influence patient participation and engagement? Health Expect. 2007;10:259–67. CrossRef Davis RE, Jacklin R, Sevdalis N, et al. Patient involvement in patient safety: What factors influence patient participation and engagement? Health Expect. 2007;10:259–67. CrossRef
26.
go back to reference Backhouse T, Kenkmann A, Lane K, et al. Older care-home residents as collaborators or advisors in research: a systematic review. Age Ageing. 2016;45:337–45. CrossRef Backhouse T, Kenkmann A, Lane K, et al. Older care-home residents as collaborators or advisors in research: a systematic review. Age Ageing. 2016;45:337–45. CrossRef
28.
go back to reference Collins D. Cognitive interviewing practice. London: SAGE; 2014. Collins D. Cognitive interviewing practice. London: SAGE; 2014.
29.
go back to reference James N. Using email interviews in qualitative educational research: creating space to think and time to talk. Int J Qual Stud Educ. 2016;29:150–63. CrossRef James N. Using email interviews in qualitative educational research: creating space to think and time to talk. Int J Qual Stud Educ. 2016;29:150–63. CrossRef
Metagegevens
Titel
Nederlandse vertaling en eerste stappen in validatie van de PPEET om burger- en patiëntenparticipatie te evalueren
Auteurs
Laura Bavelaar
Lisa S. van Tol
Monique A. A. Caljouw
Jenny T. van der Steen
Publicatiedatum
11-10-2021
Uitgeverij
Bohn Stafleu van Loghum
Gepubliceerd in
TSG - Tijdschrift voor gezondheidswetenschappen / Uitgave 4/2021
Print ISSN: 1388-7491
Elektronisch ISSN: 1876-8776
DOI
https://doi.org/10.1007/s12508-021-00316-9