Meten maakt matig

Lees hier het pdf van dit artikel. Ben je een goed wetenschapper als je 80 uur per week werkt, 4 tijdschriftartikelen publiceert en minimaal 1 keer per 2 jaar een boek uitbrengt? Kwaliteit van wetenschappelijk onderzoek is maar moeilijk meetbaar, zo stelt Mark Sanders, die zich als universitair hoofddocent bezighoudt met een sterk gekwantificeerd, ‘meetbaar’ thema: de economie. Door Mark Sanders Deze zomer maakten mijn vrouw en ik met de kinderen een wandeltocht door de Girolata op Corsica. Laat ik eens beginnen met een bij voorbaat kansloze poging deze wandeling te beschrijven door hem te kwantificeren. We zijn 300 meter gedaald en vervolgens gestegen. Het uitzicht waardeer ik op een 9 uit 10 en de temperatuur was 33 graden Celsius met een zeewind van ongeveer 10 meter per seconde. We hebben 3 kilometer bergaf en 4 kilometer bergop afgelegd. De temperatuur van het zeewater in de baai onder aan het pad was 27 graden en we hebben er, met stops, ruim 4 uur over gedaan. Onderweg liepen we 40% in de schaduw van de Maquis en 60% in de zon. En zo kan ik nog wel even doorgaan. Maar wat ik ook meet en hoeveel kwantitatieve informatie ik u ook geef, u krijgt daarmee nooit een goed beeld van de wandeling. Als je probeert een wandeling met je kinderen in de Girolata te kwantificeren ben je gek, saai of beide en communiceer je van alles behalve de essentie van waar het om gaat. Het plezier van de wandeling: onmeetbaar. Dat kwantificeren in dit geval onzinnig is ligt er dik bovenop. Maar in het dagelijks leven, en vooral in management, bestuur en politiek, begaan we die onzin dagelijks. De macht van het getal is in onze samenleving bijna onaantastbaar. Als we iets gemeten hebben weten we wat meer en wat minder is. De stap naar een oordeel over wat beter en slechter is, is dan nog maar klein. 500 hoogtemeters en 10 kilometer is nu eenmaal objectief meer en dus (?) een grotere prestatie. Wie streeft naar meer en beter voor minder kan na meting gewoon berekenen wat er moet gebeuren. En dat is precies wat politici, bestuurders en managers denken dat er van ze verwacht wordt. Ze vragen dus om meting en doorrekening en verdedigen hun besluiten vervolgens met de schijnbaar objectief  gemeten uitkomsten. Een eigen politiek oordeel is veel lastiger te verdedigen. Dus schermen politici met CPB-cijfers en allerhande rankings, scores en prognoses om hun gelijk te halen en verantwoording af te leggen. Maar zoals je de waarde en beleving van een wandeling niet kunt kwantificeren, zo kun je dat ook niet met de kwaliteit van genoten onderwijs, met de waarde van goede en liefdevolle zorg, met een gevoel van veiligheid en de bijdrage van wetenschap en cultuur aan de samenleving. Niet omdat er geen kwantificeerbare informatie over die onderwerpen te vinden zou zijn, maar omdat deze altijd de essentie mist. Alles van waarde is onmeetbaar en in de ijver om te meten vergeten we waar het echt en uiteindelijk om gaat. De kracht van kwantificering is daarom vaak puur retorisch. Er bestaat geen objectief betere zorg, beter onderwijs of betere wetenschap omdat de waarde van dit soort activiteiten altijd berust op een subjectief oordeel. In mijn eigen vak, de economische wetenschap, is kwantificeren tweede natuur. Economen hebben de kosten-baten analyse uitgevonden en die werkt alleen als kosten en baten netjes in dezelfde, objectief meetbare eenheid (geld) zijn uitgedrukt. Een goed voorbeeld van een dergelijke analyse is het Stern Review. Daarin worden tot ver achter de komma de kosten en baten van klimaatverandering becijferd. En dit review was enorm invloedrijk in het onderbouwen van het klimaatbeleid van het Verenigd Koninkrijk. Er kwam schijnbaar geen subjectief oordeel aan te pas. Stern rekende  gewoon voor dat een ambitieus klimaatbeleid rationeel is. Dat hij daarbij aannames in zijn rekenmodellen verstopte waarin die uitkomst al lag opgesloten is maar weinig politici opgevallen. Dat Stern ‘toevallig’ uitkwam bij het reeds voorgestelde beleid van de Britse regering werd dankbaar gebruikt in het politieke debat. De verleiding van het getal, van meetbaar en aantoonbaar ‘beter’ beleid, was ze te sterk. Dat er ook een goed politiek, ethisch en moreel verhaal over klimaatbeleid te houden is, verdween in het politieke debat helemaal naar de achtergrond. Ook de economische wetenschap zelf is tot op het bot gekwantificeerd en wordt dat in toenemende mate. De ‘output’ van een academicus is natuurlijk lastig te meten. Je ziet ze soms in de krant of op tv, maar meestal werken ze in hun laboratoria en kantoren aan ‘kennis’. Maar daarbij gebruiken ze zoveel van andermans kennis dat het onmogelijk is om de bijdrage van de individuele wetenschapper te isoleren. Daarnaast is wetenschap geen lineair productieproces. Wetenschappers gaan 99 van de 100 keer een verkeerde kant op en de meeste onderzoekslijnen lopen dood of in cirkels. Maar zonder die 99 experimenten richtingen was de 100ste ook niet gevonden. En vervolgens is de vraag: Wat is die nieuwe kennis überhaupt waard? We weten dat de wereld er vandaag heel anders uit zou zien zonder wetenschap, maar wie heeft nu precies welke bijdrage, wanneer geleverd? De waarde van wetenschap is inherent onmeetbaar en alleen wetenschappers zelf kunnen bij benadering (subjectief ) beoordelen wat wel en wat geen bijdrage was aan hun vakgebied. Toch heeft het kwantificeren ook in de wetenschap toegeslagen. En dat komt niet (per definitie) uit de wetenschappers zelf. Managers en bestuurders kunnen niet accepteren dat outputs en inputs niet scheidbaar of meetbaar zijn. Want als ze dat doen is hun rol grotendeels uitgespeeld. Dan valt er niets meer te (be)sturen. Zonder informatie, zonder objectief meetbare outputs en inputs, kan een bestuurder niet prikkelen, niet belonen en niet straffen en dus niet sturen. Dus maakt de staatssecretaris met de universiteitsbesturen prestatiecontracten met smart-afspraken die vastleggen hoeveel publicaties, hoeveel derde geldstroommiddelen (externe financiering van onderzoek, red.) en hoeveel meetbare onderwijs en onderzoekskwaliteit het Rijk en de hardwerkende Nederlander mogen verwachten voor hun bijdrage aan de wetenschap. De universiteitsmanagers geleiden deze ‘harde targets’ door naar de faculteitsbesturen die ze vervolgens aan hun departementen opleggen. En daar proberen vervolgens de wetenschappers hun werk naar eer en geweten te blijven doen tegen de stroom van perverse prikkels en gekwantificeerde ontmoediging in. Ik ga hier nu niet in op de onderwijskant van het verhaal, want dat onderwerp komt elders in dit nummer al uitgebreid aan bod. Laten we het voor dit artikel houden bij het wetenschappelijk onderzoek. Want wat mogen we dan wel van een wetenschapper verwachten? Toen in 2005 bij het Max Planck Instituut in Duitsland bij Prof. David Audretsch in dienst trad als pas gepromoveerd onderzoeker drukte hij het als volgt uit: ‘Don’t be an asshole and try to win the Nobel prize.’ Het duurde even voor het kwartje viel, maar wat hij me zei was dat ik moest proberen belangwekkend onderzoek te doen en verder vooral binnen de organisatie collegiaal en coöperatief moest zijn. Wetenschap is een teamsport waarbij de individuele beloning uiteindelijk ligt in erkenning van en reputatie onder je gelijken. Daarom publiceer je, daarom probeer je studenten bij je onderzoek te betrekken en daarom werk je vaak 80 uur in de week. Maar je kwaliteit als wetenschapper laat zich daarmee nog niet vangen in de gewerkte uren, de gelezen of gepubliceerde bladzijden en de contactmomenten met studenten, pers of buitenwacht. Er werd bij Max Planck natuurlijk ook gemeten. Elke week hing de publicatie- en citatielijst op het bord en de vlag ging uit als er iemand een klapper maakte. Maar er was geen extra salaris, geen bonus, geen minimumnorm en geen tenure track. En de administratie zat in een ander gebouw en mocht zich vooral niet met ‘kwaliteitsmeting’ bemoeien. In plaats daarvan kwam er eens in de zoveel tijd een visitatie van gewaardeerde wetenschappers die zich een subjectief oordeel kwamen vormen. En ondertussen kreeg je alle kansen, mogelijkheden en middelen en was het dus ook je eigen schuld als je er niets van bakte. Als je slim was werkte je met de toponderzoekers samen zodat je van hen het trucje kon afkijken. Maar bovenal creëerde die niet vrijblijvende academische vrijheid een atmosfeer waarin goed – bij voorkeur goed publiceerbaar – onderzoek en een brede academische interesse en instelling werden gewaardeerd. Mijn output werd niet gemeten dus, maar door je collega’s en leidinggevenden op waarde geschat. Hoe anders is dat nu in Utrecht (en naar ik hoor op de meeste andere Nederlandse en buitenlandse universiteiten)? Mijn eigen departement heeft recent een nieuwe methode ontwikkeld voor het wegen van publicaties. Dit is overigens de tweede keer dat dit systeem wordt aangepast sinds ik in 2006 aan mijn huidige baan begon. Toen ik begon verdienden we met onze publicaties punten. Die punten werden toegekend via een systematiek die moest garanderen dat ons onderzoeksprofiel – multidisciplinaire economie – werd gestimuleerd. Ofwel, je kreeg punten voor bijna alles. Je kunt immers bijna alles wel multidisciplinaire economie noemen. Ons departement werd in visitaties echter vergeleken met de andere departementen en met een andere ‘objectievere’ maatstaf beoordeeld. En dus moesten de bakens verzet. Het systeem werd ‘verbeterd’ en er werden meer prikkels aan opgehangen. We kregen alleen nog punten voor peer-reviewed journals en daarvan moest je er tenminste één per twee jaar ‘produceren’ om je onderzoekstijd te behouden. Wie niet aan de norm voldeed moest maar meer onderwijs gaan geven. Maar u moet weten dat er nogal verschil bestaat tussen journals. The American Economic Review is echt een andere categorie dan The Journal of Productivity Analysis’. Door voor alle journals dezelfde punten toe te kennen en de norm dwingender op te leggen ontstond echter een sterke prikkel om de gemakkelijkere journals te gaan proberen. Ook die perverse prikkel is nu onderkend en het puntensysteem is weer aangepast. Nu krijgen we voor top-5% journals 20 punten en voor de rest 10. Of was het nu 30 voor top-5%, 20 voor top-20% en 10 voor de rest? En natuurlijk gaan we zeer binnenkort de besten nog weer ietsje meer belonen met promoties, minder onderwijs, een vast contract of andere voordelen. Tot ons departement erachter komt dat er naast publicaties toch ook veel andere activiteiten van groot belang zijn voor de status van ons instituut en de reputatie van onze wetenschappers. Want we hebben goed publicerende wetenschappers, maar ook wetenschappers die regelmatig op tv te zien zijn, die bijdragen aan het publieke of politieke debat en academici die onbetaalbaar goed onderwijs geven aan reguliere studenten, maar ook volop actief zijn in summer schools en avondonderwijs. Ieder heeft zo zijn taakopvatting van wat een academicus aan de universiteit dient te doen. De mijne kent u: ‘Don’t be an asshole and try to win the Nobelprize.’ Vanuit mijn persoonlijke politieke betrokkenheid probeer ik daar nog aan toe te voegen: ‘Inform and educate students, policy makers and the public.’ Daar steek ik niet de afgesproken 38 uur werktijd in, maar alle tijd die ik er naast mijn gezin redelijkerwijs in kan steken. En ik ervaar dat niet als werk. Uit gesprekken met collega’s weet ik dat dit voor de beste onderzoekers niet anders is. Je kunt geen topwetenschap bedrijven zonder sterke intrinsieke motivatie en de wil en discipline om je onderzoek met anderen te delen via publicaties maar ook op andere manieren. Als ik echter in toenemende mate uitsluitend gewaardeerd, betaald en gepromoveerd wordt op basis van het aantal publicaties in een lijst van journals, dan ontstaan perverse prikkels. Dan ver dringen externe prikkels de intrinsieke motivatie en richt je je op het schrijven van marginale bijdragen in journals waarvan je de editor kent of bent. Dan zetten goede vrienden elkaar in de lijst van auteurs, citeren en downloaden ze elkaar nog eens extra en nodigen ze elkaar uit voor het volgende special issue in de reeks. Tijd om je collega’s een handje te helpen, om goed onderwijs te ontwikkelen of het publiek te informeren, om je te bemoeien met een verkiezingsprogramma of om een artikel in Idee (geen punten) te schrijven is er dan natuurlijk niet. Dat los je niet op met meer of beter of anders meten. Als je stuurt opmeetbare output verlies je de essentie uit het oog. Je trekt de assholes in de wetenschap en duwt er de Nobelprijswinnaars uit. En ik ben bang dat dit in de zorg, onderwijs, politie en politiek niet anders is. Professionals oordelen zelf en leggen verantwoording af. Als je die gaat aansturen als fabrieksarbeiders dan houd je uiteindelijk een onmeetbaar slechtere kwaliteit over en je kunt niet meer terug. Laat ik u ter afsluiting proberen over te brengen waarin de waarde van een wandeling in de Girolata ligt. Omdat mijn jongste (4) ‘benenpijn’ had moest ik alles uit de kast trekken om haar te motiveren om door te lopen. Magisch bergwater uit een bron, eindeloos sprookjes vertellen uit je hoofd, liedjes zingen en praten als brugman.Maar na afloop zeer voldaan een appelsap en een ijsje voor de kleine berggeit en een grote koude Pietra voor de oude bok. Kosten voor ons en daarmee de bijdrage aan het Corsicaanse bnp: minder dan 10 euro. Waardecreatie: oneindig veel hoger en niet in geld, meters of graden uit te drukken. Maar oordeelt u vooral ook zelf als u er ooit komt.   Mark Sanders is universitair docent economie aan de Universiteit Utrecht en redactieraadslid van Idee.   Heeft dit artikel uw interesse gewekt? Klik hier voor meer info en abonnementen. – – Dit artikel verscheen in idee nr. 5 2012: Meten is weten, en is te vinden bij het onderwerp wetenschap.