Versnippering van kennis

Lees hier het pdf van dit artikel. De wetenschap dient om ons begrip van een complexe wereld te vergroten, maar is zelf evenmin vrij van de nadelige invloed van toenemende complexiteit. Door vergaande specialisatie, fragmentatie en versnippering, vordert de groei van kennis langzamer dan nodig is. Het tegengaan van deze complexiteit is geen eenvoudige opgave. Aan de hand van de Science Citation Index illustreert Ruud Abma hoe pogingen tot complexiteitsreductie in de wetenschapsbeoefening juist averechts kunnen uitpakken. Door Ruud Abma In mei 1961 ontving het Institute for Scientific Infor­mation in Philadelphia een subsidie van $300.000 voor het opzetten van een nieuw type zoeksysteem in de wetenschap, de Citation Index.1 Het doel was om wetenschappers sneller, exacter en vollediger te informeren over publicaties op hun vakgebied. Veel wetenschappers maakten zich zorgen over de explosieve toename van wetenschappelijke publicaties en de groeiende fragmentering van de wetenschap: hoe moest je daar je weg nog in vinden? De Citation Index zou dit probleem oplossen, zo was de belofte. Met andere woorden, de index zou het wetenschappelijk veld overzich­telijker maken. Die belofte is wel en niet ingelost. Productiviteit als kwaliteit De Citation Index is een database waarin wordt vastgelegd welke wetenschappelijke artikelen naar welke andere artikelen verwijzen. Het is hiermee heel geschikt om te bepalen welke publicaties belangrijk zijn en welke niet: hoe vaker geciteerd, hoe belangrijker. Op een zelfde manier kan men ook voor tijdschriften een rangorde vast­stellen: tijdschriften waarnaar vaker verwezen wordt, hebben en een hogere impact factor. Ten slotte kan men met de Citation Index ook de relatieve invloed van onderzoeksgroepen en zelfs de status van individuele onderzoekers vaststellen. Op basis van de Science Citation Index (SCI) ont­wikkelde zich een nieuw wetenschapsgebied: de bibliometrie. Daarin vormt het wetenschappelijk tijdschriftartikel de basiseenheid voor het analyseren van patronen in de wetenschap. Hieraan is te zien dat de SCI haar oorsprong vindt in de natuurwetenschappen, de sciences. De SCI bevat geen gegevens voor wetenschapsgebieden waarin vooral via boeken gepubliceerd wordt, zoals in de humanities (geesteswetenschappen). Het gaat bij de SCI en de bibliometrie niet om de inhoud van artikelen. Het gaat enkel en alleen om een formeel kenmerk: het aantal malen dat een artikel is aangehaald. Impliciet wordt aangenomen dat dit een indicator is van wetenschappelijke kwaliteit. Ondanks deze beperkingen zijn bibliometrische procedures gaandeweg een belangrijk instrument in de handen van onderwijspolitici en – beleid­smakers geworden. In Nederland gebeurde dit vanaf de late jaren zeventig. De Raad van Advies voor het Wetenschapsbeleid publiceerde in 1979 een eerste studie over de wetenschappelijke productiviteit in Nederland, waarmee ook vergelijking met omringende landen mogelijk werd. Bij ‘ombuigingsoperaties’ in de jaren tachtig, zoals Taakverdeling en Concentratie (TVC, 1983) en Selectieve Groei en Krimp (SGK, 1987) werden aantallen publicaties en citaties voor het eerst beleidsmatig gebruikt als sturingsinstrumenten. Productiviteit werd een synoniem voor kwaliteit. Zo leidde een instrumentarium (Science Citation Index) dat bedoeld was om de wetenschap overzich­telijker te maken ongewild tot het omgekeerde: een drastische toename van het aantal tijdschrif­ten en tijdschriftartikelen. Immers, wanneer (groepen) onderzoekers worden afgerekend op hun productiviteit, vergroot je de druk om de productiviteit op te voeren. De sci kan die grotere aantallen publicaties op zich wel behappen, maar omdat zij afziet van inhoudelijke criteria kunnen haar ordeningen geen bijdrage leveren aan theo­retische coherentie. Vooruitgang in de wetenschap hangt niet af van een toename in het aantal arti­kelen en citaties (productiviteitsgroei) maar van het vermogen om nieuwe feiten in een theoreti­sche samenhang onder te brengen – een gemeen­schappelijk referentiekader dus. Het gaat in de wetenschap allereerst om de groei van kennis.2 Perverse prikkels Het criterium ‘productiviteit gemeten aan aantal tijdschriftartikelen’ groeide in de loop van de jaren negentig uit tot een perverse prikkel. ‘Hoeveel had jij er het afgelopen jaar?’ werd een gangbare vraag in de decembermaand. Vooral in wetenschapsgebieden waar de theoretische coherentie gering is, leidde de productiviteitsprik­kel tot een zinloze vergroting van complexiteit en onoverzichtelijkheid, en ook tot grensover­schrijdend gedrag. De fraudeaffaire rond de sociaalpsycholoog Diederik Stapel vormt van dat laatste een wrange illustratie. Stapel publiceerde in de periode 1993 – 2011 ruim 120 artikelen. Van 55 artikelen werd onomstotelijk vastgesteld dat ze berusten op gemanipuleerde en soms zelfs geheel verzonnen gegevens. Voor de overige publicaties gold dat ze op gespannen voet stonden met de voor wetenschappelijk werk geldende methodologische principes.3 Vanaf de Tweede Wereldoorlog was binnen de sociale psychologie in de Verenigde Staten een experimentele traditie (Kurt Lewin, Leon Festinger) ontstaan, die in de jaren zestig in Europa vaste grond onder de voet kreeg en daar in de jaren tachtig dominant werd. Aan de Uni­versiteit van Amsterdam, waar Stapel vanaf 1986 studeerde, was de sociale psychologie voluit experimenteel en was het publiceren via tijd­schriftartikelen gebruikelijk.4 Promovendi kregen van Engelse hoogleraren trainingen ‘hoe succes­vol te publiceren in Angelsaksische tijdschriften’. De basis van een succesvolle publicatie was: een ‘gelukt’ experiment. De resultaten van het onder­zoek moesten de hypothese bevestigen. In zijn egodocument Ontsporing klaagt Stapel dat het laten lukken van een experiment in de sociale psychologie niet eenvoudig is: kleine veranderingen of verschillen in de concrete onderzoeksopzet kunnen al tot grote verschillen in uitkomsten leiden.5 Omdat tijdschriften weinig animo hebben artikelen te plaatsen met ‘negatieve’ uitkomsten, is het voor onderzoekers zaak het experiment zo op te zetten dat de hypothese wordt bevestigd. Evenzo is het van belang bij de statistische analyses de meest gunstige uit­komsten te creëren en te rapporteren. Het gaat dus om onderzoek dat gericht is op verificatie en niet op falsificatie (weerlegging). Volgens het rapport van de commissie Levelt is een dergelijke ‘verficatiebias’ wijdverbreid in de sociale psycho­logie, en waarschijnlijk ook daarbuiten. Confettifabriek De drang om veel artikelen te publiceren is dus van invloed op de methoden en statistiek die in het sociaalpsychologisch onderzoek worden gehanteerd, maar ze lijkt ook van invloed te zijn op de onderwerpkeuze. Stapel beschrijft hoe hij in de tijd van zijn dissertatieonderzoek, medio jaren negentig, uiterst ingewikkelde artikelen schreef die slechts moeizaam hun weg naar de tijdschriften vonden. Gaandeweg ging hij een wat lossere stijl hanteren. De onderwerpen werden niet alleen luchtiger gepresenteerd, met minder theoretische complexiteit, maar ook uitgekozen op hun aantrekkelijkheid voor de lezer. Het criterium werd gaandeweg: kun je er ook de media mee halen? In zijn oratie aan de Groningse universiteit, gehouden op 11 september 2001 (9/11!), toonde Stapel zich tevreden dat de sociale psychologie, die hij betitelde als ‘de koningin van de weten­schappen’, er geen ‘grote theorieën’ op nahoudt.6 Volgens de sociale psychologie worden mensen beïnvloed door prikkels of ‘determinanten’ in hun omgeving. Wanneer je een verschijnsel waarneemt, bedenk je een experiment om te demonstreren hoe die beïnvloeding in elkaar zit. Daarvoor formuleer je een ad hoc theorie, die weliswaar aansluit bij deze of gene sociaal-psychologische traditie maar die in beginsel op zichzelf staat. Op deze wijze kan een onderzoeker als hij of zij de zaak goed organiseert een grote hoeveelheid publicaties genereren, die niet per se een onder­linge samenhang hoeven te vertonen. Als we ons voorstellen dat veel onderzoekers in een bepaald vakgebied dat doen, rijst het beeld op van een ont­ploffende confettifabriek die veel losse snippers kennis de wereld in blaast. Lijn brengen in deze verwarrende hoeveelheid informatie vereist een herculische intellectuele krachtsinspanning, en slechts weinigen brengen dat op. In dezelfde tijd dat de fraude van Stapel aan het licht kwam verscheen een 1200 pagina’s tellend Handbook of Theories of Social Psychology, waarin gepoogd wordt de theorieën in het vakgebied te ordenen.7 Dat staat in scherp contrast met de vlot geschre­ven ‘weetjes’ in boekvorm van de Nijmeegse hoogleraar sociale psychologie Roos Vonk.8 Blijkens het rapport van de commissie Levelt stond Stapel in de sociale psychologie niet bekend om zijn bijdragen aan de theorievorming. Hij stond vooral bekend als een behendig experimentator, met gevoel voor onderwerpen die ‘in’ zijn. We wisten al dat de uitkomsten van zijn experimenten niet bepaald werden door de tucht van de feiten en een ordentelijk volgen van me­thodologische principes. Nu wordt duidelijk dat ook de tucht van een overkoepelend en algemeen geaccepteerd theoretisch kader ontbrak: per expe­riment werd een ‘theorette’ opgesteld die aantrek­kelijk en plausibel klonk, maar die niet streng en logisch was afgeleid uit een centrale theorie. De kracht van bureaucratie Het geval Stapel illustreert dat complexiteit en specialisering in de wetenschap niet alleen voortkomen uit inhoudelijke overwegingen. Ze hebben ook te maken met krachten die proberen de complexiteit van de wetenschapsbeoefening zelf hanteerbaar te maken door gebruik te maken van bureaucratische middelen. Het inzetten van de Science Citation Index voor administratieve doeleinden – het evalueren van de productiviteit van wetenschappers aan de hand van artikelen – heeft geleid tot een verdergaande versnippering in de communicatie van wetenschappelijke be­vindingen. Omdat het integreren van kennis in boekvorm, via monografieën, impliciet en soms expliciet ontmoedigd wordt, is er ook sprake van een versnippering van kennis. De wetenschap vor­dert daardoor langzamer dan nodig is. Misschien is nog het meest opvallende dat we­tenschappers er zelf aan meewerken. Op menige persoonlijke website prijkt tegenwoordig de score op de h-index, die de publicatiestatus van de betreffende onderzoeker in een getal uitdrukt. Hoogleraren jutten hun aio’s op om zoveel mogelijk te publiceren, bij voorkeur in tijdschriften met een hoge impactfactor. En zelfs de president van de Koninklijke Nederlandse Academie van Wetenschappen (knaw), Hans Clevers, ziet we­tenschap als een vorm van topsport, waarbij het erop aankomt dat Nederland wereldkampioen wordt. Maar ik blijf erbij: wetenschap gaat om inhoud en niet om scores.   Ruud Abma is verbonden aan de Faculteit Sociale Wetenschappen van de Universiteit Utrecht. Heeft dit artikel uw interesse gewekt? Klik hier voor meer info en abonnementen.   Noten 1 Zie Paul Wouters (1999). The citation culture. PhD Thesis, Uni­versiteit van Amsterdam, garfield.library.upenn.edu/wouters/ wouters.pdf 2 Zie Ruud Abma (2011). Over de grenzen van disciplines. Plaatsbepa­ling van de sociale wetenschappen. Nijmegen: Vantilt. 3 Commissie Levelt (2012). Falende wetenschap. De frauduleuze onderzoekspraktijken van sociaalpsycholoog Diederik Stapel. Uni­versiteit van Tilburg, 28 november 2012. 4 Zie Vittorio Busato (2007). Leve de psychologie! Honderd jaar psy­chologische wetenschap aan de UvA. Amsterdam: Bert Bakker. 5 Diederik Stapel (2012). Ontsporing. Amsterdam: Prometheus. 6 Diederik Stapel (2001). (De koningin is aan zet: Waarom de alledaagse precisie van de sociale psychologie haar majesteite­lijk maakt.) Nederlands Tijdschrift voor de Psychologie, 56, 284-292. 7 Lange, P.A.M. van, A.W. Kruglanski & E.T. Higgins (Eds.) (2011). Handbook of theories of social psychology, vol 1 & 2. Sage: Thousand Oaks. 8 Roos Vonk (2009). Ego’s en andere ongemakken en (2011) Menselijke gebreken voor gevorderden. Schiedam: Scriptum. – – Dit artikel verscheen in  idee nr. 1 2013: De complexe samenleving, en is te vinden bij het onderwerp wetenschap.