Replicatie studies waren een essentieel onderdeel van het wetenschappelijk bedrijf. Essentieel voor waarheidsvinding en – misschien nog wezenlijker – voor falsificatie, omdat wetenschappelijke bevindingen volgens Popper ‘voorlopig waar’ zijn. Replicatieonderzoek leidt als het goed is tot bevestiging of verwerping van een wetenschappelijke theorie of hypothese. Maar het is niet altijd goed. Replicatieonderzoek ontleedt ook belangenverstrengeling en ontdekt – niet zelden gerelateerd aan belangenverstrengeling – fraude. En dat lijkt steeds vaker aan de orde.
Replicatieonderzoek wordt blijkbaar gebruikt om andere zaken dan waarheidsvinding te realiseren.
Een interessant, recent voorbeeld is de ontdekking van het retrovirus XMRV bij patiënten met een chronisch vermoeidheidssyndroom (CVS), ook wel aangeduid als ME (Myalgische Encefalomyelitis).
De vraag of CVS een fysiologische/biologische of een psychologische oorzaak heeft speelt reeds lang. Naast biologische factoren spelen psychische factoren blijkbaar een rol. Anti-infectie middelen en gedragstherapie zijn behandelingen, die in Nederland door zorgverzekeraars worden vergoed. Diagnostiek en behandeling vinden in West Europa plaats in CVS kenniscentra met veel aandacht voor de psychologische benadering en begeleiding.
De ontdekking van het retrovirus XMRV (door een team van onderzoekers en instituten in de Verenigde Staten) bleek een steen in de vijver van het CVS. Dat de resultaten werden gepubliceerd in het vooraanstaande tijdschrift Science maakte extra indruk. Onvoorstelbaar snel verschenen drie (!) replicatie studies (twee uit het Verenigd Koninkrijk en een uit Nederland), die de aanwezigheid van het retrovirus XMRV bij CVS patiënten niet bevestigden. Zij vonden zelfs helemaal geen XMRV, terwijl dit in iedere normale populatie – zij het relatief weinig – voorkomt zoals uit andere onderzoeken is gebleken. Ook opvallend snel verzocht de redactie van Science aan de auteurs van het ‘gewraakte’ artikel het artikel terug te trekken. De auteurs deden iets anders. Zij en hun instituten schreven brieven, die zeer aannemelijk maakten, dat de drie replicatieonderzoeken niet deugden. Zij geven in hun reactie de indruk dat de redactie van het hooggewaardeerde Science zich onder druk heeft laten zetten van wetenschappers, die ‘niet geloven’ in de antivirale verklaring voor CVS.
Er zijn meer van dergelijke praktijken in de wetenschap. Die roepen tenminste twee vragen. De ene is: aan welke voorwaarden moet replicatieonderzoek voldoen om waarheidsvinding te dienen. De andere is: welke motieven hebben wetenschappers om de replicatie niet volgens de regels der kunst uit te voeren.
Het antwoord op de eerste vraag is ogenschijnlijk eenvoudig: replicatieonderzoek dient de te repliceren studie exact te herhalen. Deze open deur blijkt in de praktijk dicht. Duidelijk is dat de replicatiestudies voor het identificeren van het XMRV niet aan de basisvoorwaarden van een replicatieonderzoek hebben voldaan.
Replicatieonderzoek voldoet lang niet altijd aan de voorwaarden van replicatieonderzoek, omdat dit niet kan. In het kort zijn er vier redenen, waarom replicatie niet kan: tijd, plaats, methode en subject. In sociaalwetenschappelijk en geneeskundig onderzoek is de variatie in die vier noodzakelijkerwijze veelal groter dan in natuurwetenschappelijke experimenten. Een replicatie studie naar het effect van ergotherapeutische interventies bij dementerenden in Duitsland levert geen resultaten op, terwijl in Nederland wel een effect is gevonden. De replicatie vond meer dan een jaar later plaats (tijd) in een andere ‘plaats’ (zorgsysteem, sociale steun) in een andere ‘cultuur (acceptatie van ongemak, mate van eigen regie), terwijl de methode van de Nederlandse interventie geleerd moest worden (en de therapeuten mogelijk te weinig getraind waren), de wijze van dataverzameling verschilde en de Duitse patiënten minder ziek waren. Het is dan niet verrassend dat de resultaten niet identiek zijn. De vraag of en waarom een ergotherapeutische interventie bij dementerenden effectief is blijft dus open. De wetenschappelijke vraag blijft op tafel. Zo hoort het.
Het antwoord op de tweede vraag is van een andere orde. In het ergotherapeutisch voorbeeld was het voor de onderzoekers per definitie onmogelijk de replicatie te doen zoals het hoorde. Replicatieonderzoek in andere culturele context is extra gecompliceerd. De vraag kan gesteld worden of de onderzoekers in de Duitse situatie er aan hadden moeten beginnen; zij beargumenteren afdoende waarom wel.
Soms wijken onderzoekers met opzet af, omdat het herhalen van wat andere hebben gevonden niet erg in tel (wordt niet geaccepteerd in high impact tijdschriften, leidt niet tot veel citaties) is. Juist door beargumenteerd (iets) af te wijken wordt er mogelijk iets nieuws gevonden. Dat levert dan een primeur op. Publicatiedruk, subsidiegelden, therapeutische toepassing, ontwikkelen van expertise centrum zijn factoren die onderzoekers verleiden het replicatieonderzoek ‘anders’ te doen. Waarheidsvinding staat niet (meer) voorop.
Replicatieonderzoek was een sterk instrument voor versterking of falsificatie van wetenschappelijke theorieën en hypothesen. Juwelen van vroeger zijn te vinden in de natuurwetenschappen, in de (sociale) psychologie en sociologie. De replicatiestudies waren evenzeer ‘primeurs’ als de oorspronkelijke studie, omdat zij gericht waren op waarheidsvinding/falsificatie volgens de regels der kunst.
Door de huidige financieringssystemen en het zogenaamde wetenschapsbeleid dreigt een essentieel instrument in de wetenschapsbeoefening te verdwijnen of misbruikt te worden. Een publicatie in Science onderuit halen is een primeur. Een poging om zo een wetenschappelijke publicatie onderuit te halen door deze met ‘ongepast’ replicatieonderzoek als ‘onjuist’ te kwalificeren is gelijk aan wetenschappelijke fraude, ongeacht of de mooie resultaten van de oorspronkelijke studie juist zijn.
