De toetsing van medische competentie

Toetsing in de geneeskunde is een omvangrijk onderwerp waar heel veel over geschreven is [1]. Er is dan ook veel ontwikkeld en onderzocht, wat heeft geleid tot veel kennis over toetsing. We willen in dit artikel in vogelvlucht hierop ingaan. We beginnen met het uitleggen van enkele bouwstenen van toetsing, vervolgens bespreken we het moderne opleiden door middel van competentiegericht onderwijs en de gevolgen hiervan voor toetsing. We eindigen met een beschrijving van een moderne integrale aanpak van toetsing.

Onder toetsing verstaan we alle activiteiten die leiden tot een uitspraak over een vaardigheid van een individu of van een team van individuen. Toetsing kent twee doelen. Het bekendste doel is de summatieve functie: het nemen van een beslissing of de beoordeelde aan de maat is. Deze functie van toetsing legt tegelijkertijd aan de maatschappij verantwoording af van het feit dat een opleiding ergens toe geleid heeft. Het laat ook zien dat de opleiding effectief is geweest. Daartegenover staat de formatieve functie van toetsing. Bij deze functie ligt het accent op de vormende werking van toetsing: de toets als spiegel van het leren en het gebruik van toetsinformatie om het leren te bevorderen. Toetsing kan een krachtig middel zijn om leren te bevorderen. Onderzoek toont systematisch aan dat onderwijs met toetsing veel effectiever is dan onderwijs zonder toetsing [2].

Er bestaan heel veel toetsmethoden en het is ondoenlijk om deze in kort bestek te behandelen. Een handig overzicht wordt gegeven door Epstein [3].

Het is gemakkelijk om toetsmethoden te classificeren. Dat kan gedaan worden door een eenvoudig competentiemodel te beschouwen, de piramide van Miller (fig. 1 en [4]).

Aan de basis van het model van Miller ligt feitenkennis (kennen). Als met de feitenkennis gewerkt kan worden tijdens klinisch redeneren en probleemoplossing, wordt gesproken van ‘kunnen’. Het derde niveau is wanneer deze vaardigheden kunnen worden gedemonstreerd in een gesimuleerde situatie (laten zien). Dit kan een geheel consult of gehele handeling zijn, of een deelvaardigheid, zoals omgaan met laser of elektrochirurgie. Op het vierde niveau vindt een beoordeling plaats in de echte praktijk (doen). ‘Kennen’ en ‘kunnen’ zijn cognitieve vaardigheden, ‘laten zien’ en ‘doen’ zijn gedragsvaardigheden. De cognitieve vaardigheden worden typisch getoetst met schriftelijke toetsen (meerkeuze, open vragen, computertoetsen, mondeling, etc.).

Voor de toetsing van klinisch redeneren wordt vaak gebruikgemaakt van (klinische) scenario’s die aan de toepassing van kennis appelleren op het specifieke scenario. Soms wordt zo’n scenario gecombineerd met een open-boekstrategie. Boeken mogen worden geraadpleegd tijdens de toetsing. Kenmerkend voor de beoordeling van gedragsvaardigheden is de observatie door een professionele beoordelaar, vaak een supervisor. Het verschil tussen de derde en de vierde laag is de setting. In de derde laag is deze setting gesimuleerd en in de vierde laag is de setting de praktijksituatie. De eerste drie lagen betreffen gestandaardiseerde toetsvormen. Hier worden condities geschapen die voor elke beoordeelde gelijk zijn. De vierde laag omvat ongestandaardiseerde toetsvormen. De condities van beoordeling zijn afhankelijk van verschillende patiënten, fysieke context en beoordelaar en verschilt van situatie tot situatie.

Millers piramide is ook bekritiseerd. Het is bijvoorbeeld geen didactisch model dat voor zou schrijven hoe we zaken in een bepaalde volgorde moeten leren. De vorm van de piramide is ook bekritiseerd. Voor een vervolgopleiding tot medisch specialist zou de piramide eigenlijk op zijn kop moeten staan, omdat in die situatie, voor dat leerproces, het formatief toetsen in de praktijk centraal staat.

Gesteld kan worden dat in de afgelopen decennia in de geneeskunde de piramide ‘beklommen’ werd en dat voor alle lagen toetsmethoden ontwikkeld en gevalideerd zijn. Tijdens deze beklimming is veel onderzoek gedaan. Tab. 1 geeft een overzicht van deze onderzoeksbevindingen en hun praktische implicaties, en destilleert daarmee een aantal consistenties in deze bevindingen. Voor een wetenschappelijke verantwoording van deze onderzoeksconsistenties wordt in het kader van dit artikel verwezen naar Van der Vleuten et al. [5].

Het onderzoek levert verrassende en soms contra-intuïtieve inzichten op. Objectiviteit en subjectiviteit zijn kernbegrippen rondom toetsing. Zo hebben we de neiging om subjectieve invloeden uit te sluiten door beoordelingen te standaardiseren en te objectiveren (bijv. door gedetailleerde checklijsten te gebruiken). Uit het onderzoek komt echter duidelijk naar voren dat betrouwbaarheid (de reproduceerbaarheid van de scores) minder een kwestie is van standaardisering of van objectivering, maar veeleer van steekproeftrekking. Als een uitspraak over de competentie van een individu wordt gebaseerd op één enkele situatie, of één enkele beoordelaar, zal een uitspraak nooit betrouwbaar zijn, ongeacht hoe objectief zo’n beoordeling ook plaatsvindt. Hebben we beoordelingen van een individu over meerdere situaties, momenten of beoordelaars, dan wordt de uitspraak betrouwbaar. Subjectieve informatie kan dus heel goed gebruikt worden, mits we voldoende oordelen verzamelen. Voor het beoordelen van de top van de piramide is dit goed nieuws. Hier berusten oordelen op subjectieve beoordelingen van professionele beoordelaars.

Verzamelen we genoeg informatie in verschillende situaties bij verschillende beoordelaars, dan wordt het eindoordeel robuust. Een magisch getal van een achttal beoordelingen komt uit veel onderzoek naar voren als voldoende om tot een betrouwbaar oordeel te komen, mits deze beoordelingen betrekking hebben op meerdere situaties en beoordelaars [6]. Een korte klinische beoordeling is een directe observatie van een klinisch moment of consult, waarna een beoordeling op een formulier wordt aangegeven [7]. Na het verzamelen van acht van deze beoordelingen wordt een tamelijk betrouwbaar beeld verkregen van de competentie van een beoordeelde. 360 graden feedback of multi-source feedback is een beoordeling van een persoon over een langere periode van functioneren, waarbij verschillende beoordelaars worden uitgenodigd een oordeel te geven [8]. Dit is de beoordeelde zelf die een zelfoordeel uitspreekt en het zijn anderen die de beoordeelde tijdens het werken hebben meegemaakt (collega’s, supervisoren, verpleegkundigen, de persoon van de administratie, patiënt). Ook hier geldt weer dat acht oordelen een tamelijk robuust totaaloordeel opleveren (met uitzondering van patiëntoordelen; daar moeten er veel meer van verzameld worden). Als we informatie van verschillende toetsmethoden met elkaar combineren (bijvoorbeeld informatie van de korte klinische beoordeling met informatie uit de 360 graden feedback) hebben we zelfs minder beoordelingen nodig binnen elke afzonderlijke methode [9].

Om de formatieve functie van toetsing te bevorderen is feedback van groot belang. Er bestaat geen krachtigere impuls voor leren dan informatieve feedback. Wat het onderzoek in recente jaren laat zien, is dat bij de beoordeling van complexe vaardigheden, cijfers of scores op Likert-schalen een beperkte betekenis hebben en woorden des te meer [10]. Beschrijvende of narratieve informatie bevat veel meer aanknopingspunten voor verbetering en uiteindelijk ook voor beoordeling. In onze elektronische portfolio’s is de knop die de narratieve informatie samenvat, een belangrijke geworden. De woorden vertellen het ‘verhaal’ over de betrokken persoon en is zeer bruikbaar voor het nemen van een eindoordeel of een beslissing. Eigenlijk zijn alle zachte vaardigheden complex en zijn we gebaat bij meer narratieve feedback. Sommigen stellen zelfs voor om alle cijfers af te schaffen [11].

Onderwijs en opleiden veranderen in een grotere beweging van inputsturing (tijd) naar outputsturing (definitie van uitkomsten). Voorheen werd opleiden vooral in tijd uitgedrukt (bijvoorbeeld de opleiding tot uroloog duurde zes jaar, tegenwoordig in uitkomsten (bijvoorbeeld met individuele verkorting duurt de opleiding voor de ene aios 5 jaar en voor de andere 5,5 jaar)). Om deze uitkomsten te definiëren zijn competentieraamwerken gedefinieerd. Een competentie is een vaardigheid om een complexe beroepssituatie tot een goed einde te brengen [12].

Diverse landen hebben eigen raamwerken ontwikkeld. Ze zijn allemaal met veel stakeholderinput tot stand gekomen om tegemoet te komen aan gesignaleerde problemen in de gezondheidszorg in dat land. Nederland heeft het raamwerk van Canada overgenomen (met de competenties: medisch handelen, communicatie, samenwerking, kennis en wetenschap, maatschappelijk handelen, professionaliteit). Opvallend is dat veel van deze competenties de zogenaamde zachte vaardigheden omvatten. Alle medische kennis en chirurgische vaardigheden vallen onder ‘medisch handelen’. De overige competenties zijn de niet-technische vaardigheden, die men als ‘zachter’ zou kunnen omschrijven. Ze zijn moeilijker te definiëren en moeilijker te beoordelen. Uit onderzoek komt echter duidelijk naar voren dat, als het misgaat in de klinische praktijk, juist deze vaardigheden in het spel zijn [13]. Klachten van patiënten in het ziekenhuis zijn geassocieerd met het gebrek aan deze vaardigheden [13]. Er is onderzoek dat laat zien dat problemen in de zachte vaardigheden tijdens de opleiding voorspellend zijn voor latere incidenten in de beroepspraktijk [14]. Er is evidentie dat zowel falen als succes op de arbeidsmarkt te maken heeft met deze vaardigheden [15]. Kortom, deze zachte vaardigheden zijn uiterst belangrijk. Om die reden besteden we tegenwoordig in de opleiding meer aandacht aan deze vaardigheden en liefst willen we ze ook beoordelen. Het is volstrekt duidelijk dat deze vaardigheden slecht met een gestandaardiseerde toetsaanpak kunnen worden beoordeeld. Een betere aanpak is gebruik te maken van de methoden uit de top van de piramide: directe observatie van daadwerkelijk handelen in de praktijk, feedback gericht op verdere ontwikkeling en coaching. Het geven van informatieve feedback is noodzakelijk, maar niet voldoende voor het leren van zachte vaardigheden [16]. Het creëren van een dialoog rond feedback en het opvolgen van feedback zijn belangrijke elementen om het leren te stimuleren. Coaching of mentoring is een krachtig middel om reflectie, feedbackgebruik en het leren te bevorderen [17].

Het geven van feedback is een vaardigheid die opleiders moeten (leren) beheersen. Goede feedback is van groot belang. Is de bron van feedback niet geloofwaardig – wat bijvoorbeeld het geval is bij slecht gegeven feedback – dan wordt deze feedback genegeerd [18]. De ‘do’s and don’ts’ van feedback zijn goed beschreven in een overzicht van Lefroy et al. [19] en in een Nederlandse richtlijn door Boor et al. [20].

Hoewel competentiegericht onderwijs nobele doelen heeft, wordt het niet altijd even goed ontvangen in de praktijk [21]. Dat heeft geleid tot een beweging om uitkomsten klinisch relevanter te gaan beschrijven. Vaardigheden als ‘communicatie’, ‘samenwerken’ of ‘professionaliteit’ blijven vage begrippen waar we allemaal wel een idee bij hebben, maar ze zijn ook lastig concreet te maken. Voor de kliniek zijn kritische beroepstaken, ook wel Entrustable Professional Activities (EPA’s) genoemd, eenvoudiger te begrijpen. Elke uroloog weet bijvoorbeeld wat een laporoscopische/robotgeassisteerde chirurgische procedure is. Vanuit deze beroepstaak is het onmiddellijk duidelijk met wie moet worden gecommuniceerd, hoe er moet worden samengewerkt en wat professioneel handelen is. In zo’n geval kan op grond van beroepsinhoudelijke informatie in een matrix duidelijk gemaakt worden welke competenties en vaardigheden relevant zijn in welke beroepssituaties. Veel opleidingen zijn momenteel bezig deze EPA’s in kaart te brengen en nader te omschrijven.

Dikwijls worden de EPA’s op meerdere niveaus van complexiteit beschreven [22]. Toetsing wordt dan gebruikt om te bepalen of een lerende de competenties die behoren bij die beroepssituaties op een bepaald niveau van complexiteit beheerst. Het gaat dan om het identificeren van kritische beroepssituaties die een supervisor toevertrouwt (entrust) aan een lerende [23]. De supervisor bepaalt het bekwaamheidsniveau van een aios voor elke kritische beroepssituatie en voor steeds hogere niveaus van complexiteit [24].

Voor de bekwaamheidsniveaus wordt vaak een classificatie gebruikt waarbij de betrokkene:

Daarbij is het gebruikelijk dat de betrokkene de beroepstaken op een laag niveau van complexiteit al zelfstandig mag uitvoeren of zelfs superviseren, terwijl beroepstaken op een hoger niveau van complexiteit nog onder supervisie moeten worden uitgevoerd.

Bij competenties gaat het duidelijk om vaardigheden van de persoon. Bij kritische beroepssituaties gaat het om de klinische taken die moeten worden beheerst. De competenties maken het mogelijk om de taken te kunnen uitvoeren. Goede opleidingsprogramma’s zijn gebaseerd op een matrix die beroepstaken koppelt aan zowel de benodigde competenties als aan de mijlpalen om stapsgewijs op het eindniveau te komen. Zie bijvoorbeeld de rapportage van de urologen in de Verenigde Staten [25]. Dit rapport definieert zowel het opleidingsprogramma als de manier van beoordeling. Tussentijdse feedback wordt gegeven op de taak en de competenties, tot het moment waarop een bekwaamheidsverklaring kan worden afgegeven voor het uitvoeren van kritische beroepstaken op een bepaald niveau van complexiteit (EPA). Als alle taken zijn voltooid, kan een opleiding worden afgesloten.

Tot slot is een recente ontwikkeling om toetsing holistischer en systematischer te organiseren [26, 27]. Programmatisch toetsen vertrekt vanuit het makkelijk te bewijzen standpunt dat geen enkele toets perfect kan zijn, maar dat het geheel van toetsen in een programma alle eisen van kwaliteit kan doorstaan. Elk individueel toetsmoment wordt gezien als een leermoment. Dat betekent dat de focus ligt op het geven van feedback, liefst zo rijk mogelijk.

Een toetsmoment wordt slechts beschouwd als één datapunt, vergelijkbaar met een pixel van een foto. Beslissingen van enige zwaarte – bijvoorbeeld doorgaan naar de volgende fase in een leertraject – kunnen slechts worden genomen als er voldoende datapunten zijn. Wanneer door de veelheid aan pixels de foto een duidelijk beeld geeft, pas dan, kan een besluit genomen worden. Meestal wordt de zak/slaagbeslissing bij één toetsmoment achterwege gelaten. Dit bevrijdt de beoordelaar van de druk om sociaal-wenselijke hoge beoordelingen te geven [28]. De beoordelaar kan zich concentreren op het geven van rijke feedback. Om feedback goed te kunnen gebruiken en om reflectie te stimuleren, worden mentoren of coaches ingezet. De uiteindelijke zwaarwegende beslissing wordt door een commissie genomen. Het commissiebesluit kent allerlei spelregels om de beslissing robuust te maken en verantwoorde besluiten te kunnen nemen [29].

Programmatisch toetsen combineert eigenlijk een aantal toetsinzichten zoals die in tab. 1 zijn samengevat tot een geheel. De aanpak maakt het mogelijk zowel de formatieve als de summatieve functie van toetsing te optimaliseren. Verschillende medische opleidingen in de wereld, zowel in de basisartsopleiding als in de vervolgopleiding, zijn bezig programmatisch toetsen in te voeren. In Nederland is het toetsprogramma van de huisartsopleiding sterk programmatisch van karakter. Andere opleidingen volgen. Het onderzoek en de wetenschappelijke verantwoording van deze aanpak zijn in volle gang [30, 31].

‘Krijgen we hier nu betere dokters door?’ is een niet te missen vraag. Dat antwoord is lastig wetenschappelijk verantwoord te geven. Wij neigen ernaar om deze vraag voorzichtig bevestigend te beantwoorden, op basis van wetenschappelijke informatie uit een diversiteit aan bronnen. Onderzoek laat zien dat afgestudeerden van opleidingen die aandacht besteden aan zachte vaardigheden ook over meer van deze vaardigheden beschikken [32‐34], zonder dat het ten koste gaat van de kennis [15, 35, 36]. Een recente studie vergeleek een vervolgopleiding waarin veel aandacht wordt besteed aan communicatie (huisartsopleiding) met een opleiding waar minder aandacht aan communicatie wordt besteed (chirurgie) [37]. Interessant is dat door deze communicatieaandacht communicatievaardigheden internaliseren en personaliseren [38]. Dat gebeurt door een proces van confrontatie (o. a. door feedback), reflectie, veilige oefening, nieuwe feedback en rolmodellen. Nadat communicatievaardigheden internaliseren en personaliseren worden ze flexibel ingezet om klinische doelen beter te bereiken. Dit zijn allemaal aanwijzingen dat aandacht geven aan te ontwikkelen vaardigheden ook daadwerkelijk helpt bij het ontwikkelen van die vaardigheden. Gelukkig, opleiden werkt!

Helder is ook dat het niet makkelijk is om het moderne opleiden en de toetsing daarvan te implementeren, zeker niet in een drukke klinische praktijk. Er wordt al zo veel gevraagd van de praktiserend clinicus. Wie deze veranderingen als een bureaucratische tijger ziet die zich op ons stort, kan er beter maar mee stoppen. Voor die persoon zal het niet functioneren. Onderzoek in de vervolgopleiding laat zien dat, daar waar draagvlak bestaat voor toetsing op de werkplek, er betere implementaties ontstaan [39]. Goede toetsing kan wat ons betreft bijdragen aan betere dokters en een betere gezondheidszorg.