Falen als brandstof voor vooruitgang

Stefan Gaillard heeft een ambitieuze missie: ons beeld van de wetenschap bijstellen. Want terwijl we het succes van wetenschappelijk onderzoek vaak vieren, blijven mislukte experimenten meestal onzichtbaar. Dát willen Gaillard en zijn partners in crime veranderen met hun tijdschrift Journal of Trial and Error. Het tijdschrift geeft gefaald onderzoek een platform, vanuit de overtuiging dat mislukkingen net zo waardevol kunnen zijn als successen om wetenschappelijke vooruitgang te stimuleren. Een recente studie vond bijvoorbeeld een onverwacht verband tussen intens glimlachen tijdens selfies en hogere niveaus van angst, depressie en stress. Dit werpt twijfels op over het idee dat gezichtsuitdrukkingen altijd onze innerlijke emoties weerspiegelen en suggereert dat selfie-data via apps kunnen helpen om deze relatie beter te begrijpen. Wetenschappelijk onderzoek vormt de basis voor veel van de beslissingen die we in de samenleving nemen, van volksgezondheid tot technologie. Toch hebben veel mensen een eenzijdig beeld van wetenschap doordat alleen geslaagde onderzoeken naar buiten komen. 
 
Wat is de Journal of Trial and Error?
‘De Journal of Trial and Error is een wetenschappelijk tijdschrift, waarin we ‘gefaald’ wetenschappelijk onderzoek publiceren. We beschouwen daarbij eigenlijk twee soorten falen. De eerste soort falen is wanneer onderzoekers er niet in slagen om hun hypothese te bevestigen. Stel dat je bijvoorbeeld denkt dat als je oogjes op een prullenbak plakt, mensen sneller geneigd zijn om hun afval erin te gooien. Maar na je onderzoek blijkt dat mensen helemaal niet meer geneigd zijn om hun afval erin te gooien, of zelfs minder. Dat is één type van falen: je hypothese blijkt niet te kloppen. De tweede soort falen heeft te maken met methodologische fouten, waarbij er iets misgaat in het onderzoeksproces zelf.  Een voorbeeld uit ons tijdschrift is een nieuw soort prothese  voor paarden waarbij die prothese door het lichaam afgestoten werd. Je hebt dan geen resultaat kunnen behalen omdat het experiment halverwege misging: de prothese werd afgestoten door verkeerd materiaal. We publiceren alleen methodologische fouten die interessant zijn voor andere wetenschappers. Dus we gaan geen artikel publiceren over iemand die simpelweg zijn glaswerk heeft gebroken in het lab, want dat weten we allemaal al: dat moet je gewoon niet doen.’
 
Wat was jullie ambitie bij de oprichting van dit tijdschrift?
‘Onze ambitie was om het beeld van de wetenschap realistischer te maken. Veel mensen zien wetenschap als een serie successen en doorbraken, maar dit is niet hoe wetenschap in werkelijkheid werkt. Een groot deel van het wetenschappelijke proces bestaat uit het falen en opnieuw proberen, maar deze kant van wetenschap is vrijwel onzichtbaar. Gefaald onderzoek wordt zelden gepubliceerd, en dit geeft een vertekend beeld.


Het idee voor de Journal of Trial and Error ontstond nadat we een lezing hadden bijgewoond over open access publicatie. Dat zijn artikelen die voor iedereen gratis toegankelijk zijn. Dit is in principe goed, maar als je écht wil dat wetenschappelijke kennis toegankelijker wordt, dan zou je ook gefaald onderzoek moeten publiceren. Als je alleen toegang hebt tot succesvolle studies, krijg je geen volledig beeld van hoe wetenschap werkelijk werkt. We wilden een platform creëren waar wetenschappers hun gefaalde onderzoek kunnen publiceren zonder angst voor reputatieschade.
 
Ook is er een ander aspect: de financiering van wetenschappelijk onderzoek. Vaak wordt financiering van tevoren toegekend om een specifiek wetenschappelijk doel te onderzoeken. Je zou kunnen zeggen dat elk resultaat relevant is, zelfs als het resultaat is dat iets niet werkt zoals verwacht. Dat bespaart geld en geeft alsnog wetenschappelijk inzicht. Maar in de praktijk spelen andere factoren mee. Wetenschappers zijn bijvoorbeeld bang dat gefaald onderzoek slecht zal overkomen op hun cv, zeker als ze in de vroege fase van hun carrière zitten. Senior onderzoekers vrezen dat het negatieve gevolgen kan hebben voor hun vakgroep, omdat ‘mislukte’ studies dan geassocieerd worden met een bepaald vak.
 
Tijdschriften zelf hebben ook lang een voorkeur gehad voor positieve resultaten, wat wetenschappers nog meer ontmoedigde om gefaald onderzoek te publiceren. Dit leidt tot een soort vicieuze cirkel, waarin wetenschappers denken: ‘Kan ik de beperkte tijd die ik heb beter besteden aan het publiceren van mijn gefaalde onderzoek, dat misschien wordt afgewezen? Of begin ik liever een nieuw onderzoek met de hoop op positieve resultaten?’
 
Hoe schat je in of een onderzoek geschikt is voor publicatie in jullie tijdschrift?
‘Onze eerste beoordeling wordt gedaan door de editor-in-chief, die verantwoordelijk is voor het overkoepelende beleid van het tijdschrift. Daarna worden de stukken peer reviewed. Dit proces van peer review werkt vergelijkbaar met dat van andere wetenschappelijke tijdschriften. Sommige reviewers kunnen terughoudend zijn om zich in te laten met gefaald onderzoek. Daarnaast is het in niche gebieden soms lastig om geschikte reviewers te vinden zonder dat er sprake is van belangenconflicten. We hebben hier tot nu toe niet heel veel problemen mee gehad gelukkig.
 
Hoe is jouw beeld van wetenschap veranderd sinds de oprichting van het tijdschrift?
‘Ik ben altijd heel positief geweest over wetenschap en technologie. Ik zou mezelf omschrijven als een techno-optimist en een wetenschapsoptimist. Dit is ook een van de redenen waarom ik in mijn eigen onderzoek kijk naar het fenomeen van te grote beloftes van de wetenschap en waarom ik betrokken ben bij het opstarten van dit tijdschrift. Ik zie wetenschap nog steeds als een geweldige manier om kennis te produceren en wil het proces verbeteren waar mogelijk.
 
Soms merk ik dat ik door mijn werk een soort beroepsdeformatie ontwikkel: ik focus me vooral op de negatieve kanten van hoe de wetenschap momenteel functioneert, wat mijn beeld van de wetenschap enigszins heeft bijgesteld. Ik heb nog steeds een heel positief beeld van wetenschap , maar ben me bewuster geworden van hoe wetenschap geproduceerd wordt. En dat is soms irrationeler dan ik dacht. Met irrationeel bedoel ik bijvoorbeeld dat fraude net zo vaak voorkomt in de wetenschap als in andere sectoren. Het zijn dingen die je niet meteen zou verwachten in zo’n rationeel veld als wetenschap.’
 
Hoe kunnen we het wetenschappelijk onderwijs verbeteren om studenten beter voor te bereiden op het echte wetenschappelijke proces, inclusief het belang van gefaald onderzoek? 
‘Ik denk zeker dat het wetenschappelijk onderwijs op bepaalde punten herzien moet worden, vooral als het gaat om het presenteren van wetenschap als een rechtlijnig succesverhaal. Op bachelorniveau zien we nog vaak dat studenten vooral leren over de ‘succesvolle’ resultaten en theorieën die in het verleden zijn ontdekt, zonder echt te begrijpen hoeveel mislukkingen er aan die ontdekkingen vooraf zijn gegaan. Het onderwijs is vaak gericht op feiten en resultaten die als vaststaand worden gepresenteerd. Pas wanneer studenten hun eigen onderzoek gaan doen, vaak pas in het derde jaar bij hun scriptie, komen ze erachter dat het allemaal niet zo soepel verloopt als het in de boeken lijkt.
 
Dit creëert een misvatting over hoe wetenschappelijk onderzoek in de praktijk werkt. Neem bijvoorbeeld PhD-studenten die soms jarenlang onderzoek doen om er vervolgens achter te komen dat hun hypothese niet klopt. In het huidige systeem wordt die stap van falen vaak overgeslagen in het onderwijs, waardoor de nadruk blijft liggen op hoe het ‘wel’ moet. Dat is jammer, want juist het delen van wat niet werkt, is cruciaal voor het wetenschappelijk proces. Wanneer gefaald onderzoek meer centraal staat in het onderwijs, kunnen studenten beter begrijpen dat falen een normaal en zelfs noodzakelijk onderdeel is van onderzoek.
 
Wetenschapsfilosofie speelt hierbij ook een belangrijke rol. Ik denk dat we als docenten en opleidingen onze vakken interessanter en relevanter voor de studenten moeten maken. Dus geen ethiek vakken waarbij ze te horen krijgen dat alles wat ze doen fout of niet altruïstisch genoeg is en geen wetenschapsfilosofie vakken waarbij ze krijgen aangeleerd dat er geen waarheid is of dat wat zij doen niet fundamenteel verschilt van andere sociale of culturele processen.  
 
Wat wil je meegeven over de interpretatie en het gebruik van wetenschappelijke inzichten, zoals die in de media verschijnen?
‘Het belangrijkste om te onthouden, is dat één enkel onderzoek meestal weinig zegt. Wetenschap is een proces dat tijd nodig heeft om robuuste conclusies te trekken en meestal zijn meerdere studies nodig om een solide inzicht te krijgen. Vooral in de media verschijnen vaak alleen de onderzoeken met schokkende of positieve resultaten, wat een vertekend beeld kan geven van de werkelijkheid. Een studie die bijvoorbeeld zegt dat wijn goed is voor je gezondheid, kan veel aandacht krijgen, maar het echte antwoord op die vraag komt pas als er meerdere studies zijn uitgevoerd en samengevoegd.
 
Beleidsmakers hebben de neiging om op wetenschappelijke publicaties te vertrouwen bij het vormen van beleid, maar het is cruciaal dat ze zich niet baseren op één enkele studie. In plaats daarvan moeten ze altijd meerdere onderzoeken vergelijken en rekening houden met mogelijke bias. Zelfs metastudies, die resultaten van meerdere onderzoeken samenvoegen, kunnen optimistischer zijn dan de werkelijkheid, omdat ze vaak alleen studies met positieve resultaten meenemen. Dit kan leiden tot een overschatting van de effectiviteit van bepaalde interventies.’
 
Een goed voorbeeld hiervan is nudging. Nudging wordt over het algemeen gezien als een manier om menselijk gedrag te beïnvloeden zonder op directe wijze keuzemogelijkheden te beperken. Rond 2010 werd nudging gepresenteerd als een revolutionaire manier om gedrag te beïnvloeden, met grote effecten. Maar recente metastudies, waarbij onderzoeken met positieve als negatieve resultaten werden bekeken, tonen aan dat de werkelijke effecten veel kleiner zijn. Dit heeft belangrijke gevolgen voor beleidsmakers die nudging wilden inzetten als een primaire strategie voor bijvoorbeeld volksgezondheid en energietransitie. De werkelijkheid blijkt vaak complexer dan in eerste instantie gedacht.
 
Daarnaast speelt publicatiebias een grote rol. Wetenschappers publiceren vooral hun positieve resultaten, omdat tijdschriften en financiers die meer waarderen. Dit betekent dat het beeld dat beleidsmakers en het publiek krijgen van de wetenschap vaak optimistischer is dan de werkelijkheid.
 
Mijn advies aan beleidsmakers en lezers zou daarom zijn om altijd voorzichtig te zijn bij het interpreteren van wetenschappelijke resultaten, vooral wanneer ze nieuw zijn. Kijk naar metastudies en wees alert op eventuele publicatiebias. Als je je toch moet baseren op een enkel onderzoek, let dan goed op de methodologie, steekproefgrootte en mogelijke fouten. Wetenschappelijke inzichten zijn essentieel, maar het duurt vaak even voordat we echt zeker weten hoe betrouwbaar die inzichten zijn. Het is daarom verstandig om kritisch en geduldig te zijn, en niet te snel beleid te baseren op voorlopige resultaten.’
 
Door Dirk-Jan van Vliet & Lucy van Eck