Wetenschap onbegrepen deel 8: Zelfrapportage en de nieuwe kleren van de keizer

Elke onderzoeker kent de beperkingen van vragenlijsten over voeding en fysieke activiteit. Toch accepteren wetenschappelijke tijdschriften deze bronnen, omdat we niets beters hebben. Een recente publicatie (Dhurandhar NV 2014) in het gezaghebbende Nature is niets minder dan een noodkreet. Stop met het gebruik van deze zelfrapportage als bron voor wetenschappelijk onderzoek!

“While new strategies for objectively determining energy balance are in their infancy, it is unacceptable to use decidedly inaccurate instruments, which may misguide health care policies, future research, and clinical judgment. “, zo stellen de auteurs

U vraagt, wij verzinnen
In veel onderzoeken worden het voedings- en het beweeggedrag in kaart gebracht door vragenlijsten. Uit validatie onderzoeken blijkt, weinig verrassend, dat mensen vaak invullen wat ze zouden moeten eten, in plaats van wat ze daadwerkelijk eten. Dit sociaal gewenst gedrag probeert men te corrigeren, maar het betekent alleen maar meer aannames op aannames stapelen. Dan hebben we het niet eens over de factoren waar geen aandacht voor is. Zo is pas redelijk recent ontdekt dat een negatief lichaamsbeeld invloed heeft op de antwoorden. Zelfbeeldinventarisaties maken geen standaard onderdeel uit van dit soort vragenlijsten en kunnen dus niet worden gecorrigeerd. Dit is slechts één voorbeeld, maar het zal je niet verbazen, dat er door de jaren heen nog een veelvoud aan factoren is ontdekt, die verkeerde zelfrapportage in de hand werken. Het is interessant om te zien dat de standpunten uit het boek de Voedselzandloper gebaseerd zijn op dit soort notoir onbetrouwbare rapportages. Hetzelfde geldt voor beweegactiviteit, waarbij mensen uit hun geheugen moeten aangeven hoeveel minuten ze per dag bewegen en met welke intensiteit. Het tart alle logica. Vervolgens durft men er ook nog conclusies aan te verbinden zoals dat het eten van voedingsmiddel x wordt gecorreleerd met een kortere levensverwachting. Het is aanname op aanname stapelen.

De energie-onbalans
Het is dan ook niet vreemd dat als wij de tabellen nakijken in een wetenschappelijke publicatie, dat groepen met dezelfde BMI een energie-inname verschil vertonen van honderden kcal per dag, terwijl de beweegactiviteit nagenoeg hetzelfde is. Auteurs zwijgen erover of baggetaliseren het verschil door de stelling dat het veelvoorkomend is bij dit type onderzoek. Van dit soort argumentatie gaan bij ons alle lichten uit. Soms zien we dat er volgens eigen opgave zo weinig energie ingenomen is, dat het gewicht van de personen niet eens gehandhaafd kan worden, maar toch rekenen de onderzoekers er vervolgens lustig op los. Een bekende databank vol met antwoorden uit zelfrapportage is die van de NHANES. Een recente kritische analyse suggereert dat een groot deel van de populatie niet eens in leven kan blijven op basis van wat ze zeggen te eten. Het is niet alleen wonderlijk dat er zoveel publicaties verschijnen op basis van deze onbetrouwbare dataset, maar ze vormen ook nog eens het hart van het Amerikaanse gezondheidsbeleid. De auteur van de kritische NHANES analyse liet dan ook onlangs weten dat adviezen op basis van deze data, pseudowetenschap genoemd mag worden.

Beter met BMI?
Naast voedselinname wordt er volop gebruik gemaakt van zelfrapportage bij gewicht en lengte. De groep van Allison had eerder de NHANES dataset geraadpleegd, waarin bepaalde groepen zowel gemeten zijn als zelf gerapporteerd hebben. Het is heel duidelijk dat er een groot verschil is tussen zelfrapportage en metingen en die verschillen kunnen soms oplopen tot 30-40 procent (Keith SW 2011). Doorgaans rapporteren mensen dat ze langer zijn en minder wegen, waardoor ze een lagere BMI hebben. Dit verklaart waarom overgewicht niet consequent in relatie wordt gebracht met problemen. De mensen met symptomen zijn namelijk veel zwaarder dan ze opgeven, wat zoveel betekent dat de ‘gezonde’ BMI categorie van 21-25 wel eens opgerekt kan worden naar een hoger getal. Een voorstel van onderzoeker Kathryn Flegal die daarmee de hele wereld over zich heen kreeg.

Garbage in, garbage out
Energiebalans metingen op basis van zelfrapportage zijn notoir onbetrouwbaar. Wij vallen onze clientèle er in praktijk meestal niet mee lastig, omdat het te onnauwkeurig is. Lees hierover meer in het artikel ‘Hoe betrouwbaar is een voedingsdagboek?‘. Het gegeven dat peerreviewed tijdschriften dit wel accepteren is diep treurig. Wij zijn daarom blij dat de noodkreet komt van de gezaghebbende groep van David Allison, de man die recent nog de Atwater prijs uitgereikt kreeg voor zijn verdiensten in de onderzoeksstatistiek, maar ook de aloude wijsheid dat het ontbijt de belangrijkte maaltijd is, aan de kaak stelde. Deze groep stelt nu dat er geen goed argument is voor de acceptatie van zelfrapportage bij energiebalanskwesties.

Schijnzekerheid
Iets is niet altijd beter dan niets. Iets levert in dit geval alleen maar schijnzekerheid en bizarre conclusies op. Iets is dus in dit geval, slechter dan niets. En nu we toch bezig zijn met clichés onkrachten. Een RCT is niet altijd beter dan een observationele studie en een meta-analyse is niet altijd beter dan enkele studie. Dat is voorbij gaan aan het fundament. Je start namelijk eerst bij het begin en dat is de kwaliteit van de grondstof. Je kunt hier meer over lezen in ons artikel ‘Onderzoek onbegrepen deel 7: Het dilemma van dubieuze datasets‘. Hoe is de data verkregen, hoe is toeval en beinvloeding geminimaliseerd en gecontroleerd? Als dat onvoldoende is, dan zijn de conclusies per definitie onbetrouwbaar, ongeacht het type onderzoek. Knappe statistiek gaat de boel niet redden, want het is vergelijkbaar met een digitale zoom van een camera. Je kunt niet iets vergroten wat je niet hebt vastgelegd. De computer in de camera ‘verzint’ de tussenliggende pixels. Conclusies getrokken uit zelfrapportage over de energiebalans zijn een fabricage op basis van verzinsels!

Conclusie
De conclusies die getrokken worden uit data verkregen uit zelfrapportage zijn ons al jaren een doorn in het oog. Nog erger is dat iedereen allang weet dat er eufemistisch gesteld, beperkingen zitten aan deze vorm van data vergaren. Iedereen danst er politiek correct om heen en daarom zijn er ontelbare publicaties gebaseerd op dit soort verzinsels. Het werd daarom tijd voor de stellige en kritische conclusie van gezaghebbende auteurs, want de keizer loopt in zijn nakie!

Redactionele noot

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, worden opgeslagen of openbaar gemaakt in enige vorm of op enige wijze zonder voorafgaande schriftelijke toestemming van de uitgever.

We vernemen graag feedback over onze artikelen, omdat we verantwoording afleggen voor claims belangrijk vinden. Dit artikel is een korte post over actualiteit, een uitgelicht onderzoek of een curiositeit. Het is geen uitputtende verhandeling over het onderwerp, maar het is bedoeld om een punt te maken door het in de context te plaatsen. 

Wil je kennis uitwisselen over vitaliteit, fitness en leefstijl met andere (aspirant)professionals, bezoek dan onze connect community. Reageren op het artikel kan ook op de community, maar dan in de café's waar je lid van kunt worden.

Geraadpleegde bron(nen)

• Dhurandhar NV (2014), Schoeller D, Brown AW, e.a. Energy balance measurement: when something is not better than nothing. International Journal of Obesity accepted article preview 13 November 2014
• Keith SW (2011), Fontaine KR, Pajewski NM, e.a. Use of self-reported height and weight biases the body mass index-mortality association. Int J Obes (Lond). 2011 Mar;35(3):401-8.