Het kritisch lezen van een medisch onderzoeksartikel

Een artikel wordt vaak betrouwbaarder door peer review: het artikel is dan namelijk kritisch nagekeken is door onafhankelijke vakexperts. Wetenschappelijke zoekmachines als PubMed of Google Scholar geven in principe alleen zoekresultaten van tijdschriften die aan peer review doen. Er zijn echter ook waardevolle niet peer reviewed artikelrubrieken zoals nascholingsartikelen en editorials.

Daarnaast moet het onderzoek onafhankelijk en zonder belangenverstrengeling zijn uitgevoerd. In principe kun je altijd terugvinden in het artikel wie de auteurs zijn, waar ze werkzaam zijn, wie het onderzoek gefinancierd heeft en of er mogelijk sprake is van belangenverstrengeling. Maar belangenverstrengeling kan ook verzwegen worden door de auteur. Een voorbeeld hiervan is het recente onderzoek naar verzwegen commerciële belangen van de hoogleraar achter het Diassay baarmoederhalskanker bevolkingsonderzoek. Daarom is het altijd goed om zelf even op internet te controleren of een wetenschappelijk onderzoek betaald of uitgevoerd is door een bedrijf, organisatie of onderzoeker die bepaalde belangen heeft in de resultaten van het onderzoek.

Een ander belangrijk punt is dat de conclusies moeten worden ondersteund door andere onafhankelijke peer reviewed artikelen. “Eén resultaat is geen resultaat” is een gevleugelde uitspraak in de wetenschap. Een (goede) wetenschapper zal zijn mening dan ook nooit baseren op één enkel artikel. Bij PubMed kun je op een eenvoudige manier vergelijkbare artikelen vinden. Een (systematisch) review is in dit opzicht het meest waardevol: het geeft een goed overzicht van de beschikbare literatuur, inclusief kritische analyse door de auteurs.

Zelfs als een artikel aan deze eisen voldoet, kun je er nog steeds niet blind op vertrouwen. Peer review is bijvoorbeeld niet geschikt om fraude te herkennen en als een auteur echt zijn belangenverstrengeling wil verbergen, lukt dat wel. Gelukkig wordt de wetenschap steeds actiever op internet en zijn er een aantal online hulpmiddelen die kunnen helpen bij het kritisch lezen van onderzoeksartikelen. Hoewel veel van deze hulpmiddelen nog in de kinderschoenen staan, worden ze steeds uitgebreider en completer.

Zo zijn er websites die doen aan post-publication peer review, zoals PubPeer en zijn er verschillende Journal Clubs (waaronder een van Wikipedia).1,2 Hierop worden artikelen die al zijn gepubliceerd publiekelijk door andere wetenschappers kritisch beoordeeld. Ook op academische social media websites als ResearchGate wordt de literatuur kritisch besproken.3 Bovendien kun je hier vragen stellen aan experts en kun je vaak toegang krijgen tot wetenschappelijke artikelen die je anders alleen tegen betaling op kunt vragen.

Er zijn ook tijdschriften die claimen peer reviewed te zijn, maar dat in werkelijkheid niet of nauwelijks doen om snel geld te verdienen. Als deze onbetrouwbare ‘predatory’ tijdschriften bekend of verdacht zijn, worden ze genoemd op de zogenaamde Beall’s List.4 Het is ook nuttig de website Retraction Watch te bekijken: hier worden titels, auteurs en onderzoeksgroepen genoemd van artikelen die zijn teruggetrokken vanwege ernstige fouten of fraude.5

Helaas is een groot deel van de wetenschappelijke artikelen niet voor iedereen vrij toegankelijk (open access) en moet je betalen om deze te kunnen lezen. Ook al kun je het hele artikel niet gratis openen, gebruik nooit alleen de titel en samenvatting (abstract) om conclusies te trekken en je mening op te baseren. Hierin wordt namelijk vrijwel nooit geschreven wat de beperkingen zijn van het onderzoek en staan nooit genoeg details om te bepalen hoe sterk de resultaten zijn. Ook als je geen wetenschapper bent, kun je met gezond verstand zelf beoordelen of de experimenten en resultaten in het artikel wel echt een antwoord geven op de vraag die gesteld wordt. Probeer dus altijd het hele artikel te krijgen, bijvoorbeeld via een universitair netwerk, Open Access repository, ResearchGate of de auteur van het artikel.

Houd ook rekening met de leeftijd van een artikel. Hoewel artikelen zelf niet zullen veranderen, is de wetenschap eromheen voortdurend in beweging. De wetenschap geeft nooit definitief bewijs, er is altijd onzekerheid. Dat is de reden dat artikelen elkaar compleet kunnen tegenspreken. Over het algemeen kun je beter van de recentere artikelen uitgaan, waarin vaak de oudere artikelen ook worden besproken. Maar wat is recent? Zeker in de medische wereld kan de literatuur snel verouderen door nieuwe ontwikkelingen en inzichten. Uit onderzoek blijkt dat systematische reviews gemiddeld al na vijf jaar hun waarde verliezen.6 Het is belangrijk je te realiseren dat bijna een tiende van de artikelen al verouderd is op het moment van publiceren en dat ongeveer een kwart nodig moet worden geactualiseerd na twee jaar.

Houd in de gaten of een artikel een correlatief of causaal effect beschrijft. Correlatief onderzoek (waaronder ook observationeel en patiëntenonderzoek) geeft namelijk alleen aan dat iets een effect op iets anders lijkt te hebben, gebaseerd op statistiek. Hoe goed en sterk de statistische verbanden (correlaties) er ook uit zien; ze hoeven in realiteit niets te betekenen. Zoals Sietsche van Gunst al schreef in het stuk over statistiek, accepteren we een kans van ten hoogste 5% dat een gevonden effect niet komt door de behandeling, maar door puur toeval. Dat betekent dat wanneer je 100 tests uitvoert, er 5 zullen zijn waar toevallig een effect is. Wetenschappelijke tijdschriften publiceren veel liever onderzoeken waar een positief effect wordt beschreven. Het kan dus gebeuren dat er over elk van die 5 vals-positieve tests wordt gepubliceerd, terwijl vrijwel geen van de 95 echt negatieve tests in de literatuur komt. Bij onderzoeken waarin een oorzakelijk (causaal) verband wordt bekeken, zoals randomized controlled trials (RCT’s), wordt toeval veel meer onder controle gehouden.

In elk geval is het goed om te bedenken dat als iets statistisch significant is, dat niet meteen betekent dat het ook (medisch) relevant is. Oftewel: kijk kritisch naar wat het onderzoeksresultaat zal betekenen voor de patiënt, ook al ziet de statistiek er heel overtuigend uit.