Replicatie biomedische onderzoeken (21%)
In een massale poging om 60 Braziliaanse biomedische onderzoeken te toetsen, bleken de uitkomsten van slechts 21 procent succesvol gerepliceerd te kunnen worden. Van de studies die werden gerepliceerd, bleken de effectgroottes ook 60 procent kleiner te zijn dan in de originele studies.
De replicatiecrisis wordt vooral geassocieerd met de sociale psychologie, maar de waarheid is dat veel biomedisch onderzoek ook niet zal repliceren — niet eens door de onderzoekers van die studies zelf.
De reden dat men het associeert met de sociale psychologie, is omdat zij simpelweg de eersten waren die het probleem grootschalig onder de aandacht brachten met het "Many Labs"-project. Hierbij kwamen onafhankelijke labs over de hele wereld tot een gezamenlijk protocol, meestal met hulp van de originele auteurs, en voerden dit onder zoveel mogelijk dezelfde omstandigheden uit. Je had bovendien iemand nodig met de statuur van Nobelprijswinnaar Daniel Kahneman om zoiets van de grond te krijgen.
Het is niet zo dat men niet weet hoe men dit kan verbeteren. Men doet het vaak gewoon niet — en dat geldt ook voor gezaghebbende tijdschriften zoals The Lancet, die voor eigen petprojecten zoals Global Burden of Disease of EAT zelfs peerreview al te veel moeite vinden. Maar zelfs bij peerreview zijn er problemen, bijvoorbeeld doordat niet eerst uitsluitend op methodologie wordt gescreend voordat een studie wordt geaccepteerd voor peerreview.
Op het vlak van kanker is het nog veel dramatischer. Het percentage dat niet repliceert ligt op 90. In verschillende replicatiepogingen, bleek de helft van de originele auteurs niet eens te reageren bij een communicatie oproep. Ook bleek veel van de originele data niet meer te bestaan, ondanks dat veel van de tijdschriften beschikbaarheid als eis te stellen. Dan hebben we nog uniekere problemen dat speciale knockout x, y en z dieren worden gebruikt die niet meer leverbaar zijn. Dit natuurlijk los van de individuele variatie in de biologie.
Dit is allemaal niet nieuw, maar het blijft soms frustrerend om te zien hoeveel geld en tijd we verspillen aan een vicieuze cirkel van suboptimale publicatie en replicatiefalen. Dat meer dan de helft niet repliceert, is eerder regel dan uitzondering — en dan heb ik het niet over obscure experimenten, maar over bevindingen die als vanzelfsprekend in tekstboeken zijn beland. Daar staat tegenover dat er ook echt wel vele vondsten zijn die wel repliceren.
Het gegeven dat er massale replicatiepogingen zijn is op zich heel waardevol. In de sociale psychologie zie je op sommige fronten enige verbetering, maar ook dat gaat nog mondjesmaat. Er is dus nog een lange weg te gaan.
