Medische statistieken en de heersende opinie

In de wetenschappelijke wereld wemelt het van de statistieken. Aan statistieken worden hele theorieën opgehangen. Maar statistieken kunnen alle kanten op. In de reclame en marketing worden statistieken veel gebruikt om producten en hun noodzakelijke werking aan te tonen. Ook de farmaceutische industrie maakt veel gebruik van statistiek. Hoe moet statistiek er uitzien om werkelijke waarde weer te geven. En waarom moet er opgepast worden met statistische gegevens en presentaties.

Standaard

Statistieken zijn de wiskundige basis voor de bepaling tussen de oorzaak en het gevolg, op basis van resultaten die in de praktijk zijn verkregen. Niet op die van meningen. Helaas wordt dit veelal
Als uitgangspunt bij ieder wetenschappelijk onderzoek zou het volgende moeten gelden: “Het moet niet uitmaken hoe slim jij bent, wie de aanname heeft gemaakt of hoe hij heet. Als het afwijkt van de resultaten in de praktijk, is het fout.” En daarbij geldt dat “De werkelijkheid belangrijker moet zijn dan public relations, want de natuur kan niet voor de gek worden gehouden.” Aldus Prof en Nobelprijs voor de natuurkunde winnaar R. Feynman.
De afgelopen zestig jaar heeft binnen de medische en voeding wetenschap deze denkwijze in ieder geval niet de boventoon gevoerd.

Aannames en onjuistheden

In de voedingindustrie zien we het ene na het andere dieet opkomen en verdwijnen. Het merendeel is gebaseerd op adviezen op basis van onjuiste onderzoeken. Ongecontroleerde en onjuiste informatie wordt door werkende in de gezondheidszorg overgenomen omdat ze niet kunnen screenen of informatie en onderzoeken wel juist zijn uitgevoerd. Daarbij speelt de groepsconsensusvorming om protocollen en richtlijnen op te stellen mede een rol. Daarbij worden zo nodig adviezen uitgevaardigd zoals:

• Het al dan niet eten van bepaalde voeding.
• Het regelmatig doen van onderzoek naar bepaalde aandoeningen.
• Het innemen van medicijnen die bepaalde aandoeningen zouden helpen voorkomen.
• Het nemen van bepaalde beschermende maatregelen.

Opmerkelijk is dat aandoeningen als kanker, hart en vaatziekten en diabetes 2 ondanks deze adviezen alleen maar toenemen.
Filosoof Stuart Wilde zegt dan ook “Wat goed werkte is vervangen door wat goed klinkt.” De media publiceert niet tot nauwelijks onderzoeken die tegen de algemene opinie ingaan. Ook nadat bij herhaald onderzoek is gebleken dat het gepubliceerde onjuist is wordt dit zelden gerectificeerd.
In mei 2002 werd ‘What docters don’t know (almost everything)’ in The New York Times gepubliceerd. Daarin wordt gemeld: “De overgrote meerderheid van de medische behandelingen is nooit door systematische onderzoeken geëvalueerd en wordt toegepast omdat artsen altijd hebben geloofd dat ze werken.” Het gaat hierbij om de termen systematisch en geloofd. De meeste onderzoeken zien er goed opgezet uit. Maar vaak is dit in feiten niet juist. Darbij neemt men over waarvan men denkt dat het juist is. [1]
Daarbij moet aangetekend worden dat de afgelopen vijftig jaar veel voedingsadviezen zijn herroepen op basis van onderzoek. Maar deze herroeping is nimmer bij de artsen, diëtisten laat staan het grote publiek aangekomen.

Meta-analyse

Bij een meta-analyse worden meerdere onderzoeken over hetzelfde onderwerp bekeken en samengevoegd. Er komen diagrammen en statistieken uit. Dit is echter een onwenselijke methodiek. Men kan eenvoudig weg niet slecht en matig onderzoek samenvoegen met goed onderzoek. Is de gevolgde procedure wel goed? Zijn er geen onjuiste opvattingen in opgenomen? Kwamen de uitkomsten de betaler goed uit? Is er niet iets vergeten? P. Libby meldt: “Daarbij komt dat een sterke vooringenomenheid de publicatie van positieve onderzoeken stimuleert, in tegenstelling tot de negatieve onderzoeken.” Dit is tevens een gevaar bij het opstellen van een meta-analyse.[2] Het is niet wat aanwezig is, maar juist dat wat niet aanwezig is in deze studies die het beeld vertroebelen.

Drie voorwaarden

Voorwaarden waaraan voldaan moet worden alvorens iets te zeggen over oorzaak en gevolg zijn:

1. Op voorhand dient iedere factor die aan de uitkomst zou kunnen bijdragen in gecalculeerd moeten worden.
2. Op voorhand moet iedere factor op haar belang worden berekend.
3. Iedere factor moet berekend worden qua bijdrage aan het resultaat met een berekende kans dat deze dat deed.

Aangezien dit vrijwel onmogelijk is dient men altijd bij onderzoeken die beweren dat iets goed werkt, te zoeken naar meer informatie.
Medische onderzoeken worden jaar in jaar uit herhaald. De reden is dat de onderzoeken namelijk niet de resultaten opleveren die men wil. Er is een enorm manco: onafhankelijke analyses. Velen nemen echter de uitkomsten klakkeloos over. Feynman zegt hierover: “Het blijkt dat alle experts uit tweede of derde hand citeren vanuit een experiment. Ik besteed nooit aandacht aan experts. Ik bereken alles zelf.” [3] Ditzelfde geldt voor statistieken. Velen baseren zich op onderzoeken gedaan door voorgangers.

Farmaceutisch onderzoek

De farmaceutische industrie heeft een methode van medicijn ontwikkeling die gebaseerd is op het volgende:
Er worden duizenden chemische moleculen gemaakt. Vervolgens wordt met een testsysteem gekeken of 1 van deze moleculen een biologische werking heeft. Deze testsystemen bestaan uit, met name constructies met receptoren. De systemen zijn aan elkaar gekoppeld waardoor vele tests in korte tijd kunnen worden uitgevoerd. Dit is de zogenaamde ‘High throughput screening’.
Gemiddeld wordt er 1 van de 1.000-10.000 moleculen gevonden met een actieve werking. Dit is de ‘lead’. Deze lead wordt vervolgens verder bewerkt waardoor een snellere en betere hechting met de receptor plaatsvindt. Dit is ‘lead optimazation’.
Deze volkomen synthetische molecuul wordt verder getest. Is de aanhechting met 1 receptor of met meerdere? Hechting met meerdere receptoren is onwenselijk. Er is dan sprake van een ‘dirty drugs’. Vervolgens wordt er gekeken bij welke ziekte deze specifieke receptor een rol speelt. Is er een ziekte gevonden dan wordt het molecuul getest bij proefdieren en indien veilig genoeg ook bij proefpersonen. Dit proces heeft kost € 300.000.000,--. Daarbij is van belang te weten dat onder ‘positief klinisch significant’ wordt verstaan dat 20% dus 1/5de van de onderzochte personen een positief resultaat laten zien. Dit is de standaard waarmee geneesmiddelen op de markt worden toegelaten als zijnde ‘evidence based’. Is de uitkomst echter dat minder dan 20% van de proefpersonen positief reageert dan verdwijnt het middel. [4]

“Uit klinische studies blijkt….”

Mattews zegt dat het publieke geheim in de geneeskunde hardnekkig is. De meeste publicaties van medicijnen worden gedaan onder naam van een geleerde. Maar in feiten gewoon door ghostwriters in dienst van de farmaceutische industrie uitgevoerd. [5]
Veel van deze publicaties zijn vervuild met woorden zoals: ‘wellicht’, ‘in verband gebracht met’, ‘zou kunnen dat’ en ‘mogelijk’. Opvallend is dat ‘absoluut’, ‘zeker’ of ‘onweerlegbaar’ ontbreken. Woorden die in natuurkundig onderzoek wel voorkomen.
Dit is wat men dan vervolgens als “uit klinische tests blijkt dat…” noemt in reclame campagnes.
Vaak ontbreekt het vervolg ervan. Twee bekende voorbeelden van margarine reclame zijn:

1. “Meer dan veertig klinische studies tonen aan dat planten sterolen cholesterol verlagen.” Eerst dient men zich af te vragen welk cholesterol? Is cholesterol wel een probleem? Welke sterolen? Wat doen sterolen nog meer? Wat zit er nog meer in dit product? Enz. [6]
2. “Omega 3 vetzuren zijn goed voor hart en bloedvaten zo blijkt uit klinische studies!”. De vraag is welk omega 3? Gaat het in de klinische onderzoeken om alfa-linoleenzuur in ongeoxideerde vorm? In voedingsmiddelen treft men dit niet aan. Want in een voedingsproduct zal niet geoxideerd omega 3 namelijk vrijwel direct oxideren en daarbij een ‘rotte vislucht’ afgeven.

Medische fysiologie hoort gebaseerd te zijn op laboratoriumonderzoek wat vrij is van associaties. Daarbij mag in vitro en/of dieronderzoek nooit één op één met een levend mens worden verwisseld.
Een voorbeeld: In vitro geven alcohol en cocaïne een nieuwe moleculaire verbinding. In een lichaam wordt alcohol echter via de maag en darmslijmvliezen opgenomen in de bloedbaan en komt daarbij eerst de lever tegen. Cocaïne wordt via het neusslijmvlies opgenomen. De vraag moet zijn of in het menselijk bloed, waarin velen honderden stoffen actief zijn en verschillende pathways van inname worden gebruikt, exact dezelfde moleculaire verbinding 1:1 zal ontstaan als in vitro.
Een levende rat of muis in geenszins gelijk aan een levend mens. Niet qua oppervlakte en inhoud. Maar ook niet qua genen, genetische belasting, polymorfimse enz. De kans dat er bijvoorbeeld eenzelfde epigenetische reactie plaatsvindt bij een mens met het C1Q polymorfisme en een rat die hier niet op getest is verklaard mede de enorme onjuiste berichtgevingen aangaande voeding. Daarbij is de rat als uitgangspunt gebruikt voor wat de mens zou moeten eten. Terwijl juist deze voeding voor de mens onjuist is. [7]

Statistiek

In ‘primer of biostatistics’ waarschuwt professor Glantz: “Feit blijft echter dat de meeste tijdschriften (en andere publicaties zoals internet) nog steeds geen volledige, bijbehorende statistische recensie geven van alle wetenschappelijke artikelen. Dus is het aandeel gepubliceerde artikelen met statistische fouten bij veel tijdschriften waarschijnlijk nog steeds ongeveer 50%. De meeste fouten (voor zover ze verband houden met statistische conclusies) concentreren zich rond het verkeerde gebruik van de T-toets, waarschijnlijk omdat de mensen die onderzoek deden niet beter wisten.(…) In praktische termen komt dit neer op het verhogen van de kans om te rapporteren dat sommige behandelingen een effect hadden, terwijl het bewijs deze conclusie niet ondersteunt.”
Omdat zoveel mensen deze fouten maken, is er erg weinig sociale druk op academische onderzoekers om statistische technieken voorzichtig te gebruiken. In feite hoor je geen enkel woord van kritiek. Integendeel, sommige onderzoekers vrezen dat hun collega’s – en dan met name recensenten- een juiste analyse als onnodig theoretisch en onnodig ingewikkeld zullen beschouwen. (..) Jij en andere verantwoordelijke individuen kunnen hetgeen er gepubliceerd is, of op klinische en wetenschappelijke bijeenkomsten wordt gepresenteerd, nauwelijks meer zomaar voor waar aannemen.” [8]
De T-toets is nodig om te bepalen of alle testen uit dezelfde populatie of uit verschillende populaties genomen werden. Dit is feitelijk het verschil tussen het rekenkundig gemiddelde gedeeld door de standaardafwijking van het verschil in het rekenkundig gemiddelde. Vervolgens wordt dan de vraag gesteld: “Wat is de waarschijnlijkheid om een dergelijk groot verschil alleen door toeval te krijgen?”

Gevaren

De meeste onderzoeksmodellen zijn eerder verkeerd dan juist waar het gaat om de uitkomst van het onderzoek. Zo stelt epidemioloog Ioannidis. [9]
Kleine steekproeven, kleine effecten en slecht gedefinieerde uitkomsten worden gezien als waar. Geneesmiddelen worden op de markt toegelaten als er een klinisch significant positief effect is. De standaard is 20%. Dat betekend dat bijvoorbeeld bij een significant negatief verschil van 79% het middel alsnog wordt toegelaten als zijnde regulier evidence based medicatie. Als de resultaten uit het onderzoek al juist gijn. [10]