Maart 2010

Gisteren stond er in De Standaard een interessant opiniestuk door Filip Reyntjens over de perverse effecten van het financieringsmechanisme van universiteiten dat gebaseerd is op onderlinge concurrentie op basis van kwantitatieve output. Ik heb over dat financieringssysteem vorig jaar al iets geschreven, maar ik kan het toch niet laten om er even nog wat dieper op in te gaan.

Het aantal wetenschappelijke publicaties per jaar stijgt exponentieel, met ongeveer 3 à 4 procent per jaar. Dat is al lang zo, en heeft waarschijnlijk te maken met de exponentiële groei van de bevolking. Ik heb eens wat gegevens opgezocht en ik heb een grafiek gemaakt van het aantal publicaties per jaar volgens Google Scholar en het aantal publicaties van de grote uitgeverij Springer. In de eerste helft van de 19de eeuw verschenen er enkele duizenden publicaties per jaar, in de tweede helft van de 19de eeuw enkele tienduizenden, rond de helft van de 20st eeuw zaten we aan een honderdduizendtal, en de laatste jaren zitten we aan meer dan een miljoen publicaties per jaar:



Als we even inzoomen op de naoorlogse periode dan valt het op dat het groeitempo hoger lijkt te worden: 5 à 6 procent groei per jaar, en de laatste decennia misschien zelfs nog iets meer (de laatste paar jaar daalt het aantal publicaties volgens Google Scholar; dat is waarschijnlijk een tijdelijk effect veroorzaakt door onvoltooide indexering van de meest recente publicaties). Aan het huidig tempo verdubbelt het aantal publicaties op ongeveer 10 à 15 jaar (de mensheid heeft dus tussen het begin van de geschiedenis en pakweg 1995 evenveel papers gepubliceerd als tussen 1995 en vandaag!). Hier is een grafiek van het aantal naoorlogse publicaties per jaar:



So what? Meer publicaties betekent meer onderzoek, en daar worden we toch allemaal beter van?

Hoewel dat inderdaad ongeveer de redenering is die de beleidsmakers lijken te maken, is de realiteit helaas een beetje minder rooskleurig:

• Meer publicaties betekent niet noodzakelijk meer onderzoek. Een brok onderzoek die vroeger beschreven werd in één publicatie wordt vandaag in honderden kleine incrementele stukjes gekapt die allemaal apart worden gepubliceerd. Waarom? Vergelijk het met een polsstokhoogspringer die een prijs krijgt van z'n sponsor als hij het wereldrecord breekt, en dus het wereldrecord herhaaldelijk verbetert, telkens met 1 centimeter.
• Aangezien er zoveel publicaties zijn, is het steeds moeilijker om op de hoogte te blijven van het onderzoek in je eigen discipline (laat staan in andere disciplines). Het wordt dus ook moeilijker om bij het beoordelen van iemand anders zijn onderzoek (peer review) na te gaan of het allemaal niet al eerder gedaan is. Er wordt dus waarschijnlijk veel dubbel werk gedaan en dubbel gepubliceerd.
• In het algemeen wordt publiceren meer en meer een write-only aangelegenheid: wie heeft er nog tijd om publicaties te lezen als je enkel betaald wordt om te schrijven?
• Wie gaat er zich nog wagen aan moeilijk onderzoek met weinig kans op succes, zoals het oplossen van een wiskundig probleem dat al 300 jaar onopgelost is? Andrew Wiles werkte van 1986 tot 1994 aan een bewijs voor de laatste stelling van Fermat. Zoiets moet een jonge onderzoeker vandaag niet proberen.

Uiteindelijk zijn het vooral de uitgeverijen die er belang bij hebben dat er zoveel gepubliceerd wordt. Academic publishing is een zeer lucratieve bezigheid, aangezien de auteurs en de redactie gratis werken (toch vanuit het standpunt van de uitgeverij) en gedwongen worden om zo veel mogelijk publicatiemateriaal te produceren. Tegenwoordig doen de auteurs het layout-werk vaak zelf. Bijna alle aspecten van de productie gebeuren dus gratis. Ook op gebied van verkoop en marketing moet de uitgeverij weinig doen: het voornaamste doelpubliek zijn wetenschappelijke bibliotheken en wetenschappers zelf, en die vinden zelf wel de weg naar de relevante tijdschriften en zijn zo goed als verplicht om ze te kopen.

De grote winnaars van het onderzoeksbeleid dat gericht is op publiceren zijn dus de multinationals zoals Springer en Elsevier. Springer heeft een omzet van 892 miljoen euro en een winst van 275 miljoen euro, Elsevier heeft een omzet van 1863 miljoen en maakt 622 miljoen euro winst. Die winst wordt bijna volledig betaald met belastingsgeld dat eigenlijk voor onderzoek bestemd was.

Om te verhinderen dat de kwantiteit omhoog gaat ten koste van de kwaliteit, wordt vaak gebruik gemaakt van (kwantitatieve) methodes om de kwaliteit te meten. In plaats van gewoonweg het aantal publicaties te tellen, wordt er ook rekening gehouden met de “status” van het tijdschrift waarin gepubliceerd werd. De impactfactor van een tijdschrift is zogezegd een manier om de kwaliteit van een tijdschrift te meten. De impactfactor van een tijdschrift (voor jaar X) is het aantal citaties in andere tijdschriften (in jaar X) van artikels in het tijdschrift (gepubliceerd in jaar X-1 en X-2) gedeeld door het aantal artikels (gepubliceerd in jaar X-1 en X-2), m.a.w. het gemiddeld aantal citaties per artikel. De onderliggende redenering is dat hoe vaker onderzoek geciteerd wordt, hoe beter het is.

• Een artikel kan natuurlijk ook geciteerd worden omdat er een fout in staat of omdat het onvolledig is.
• Enkel citaties op korte termijn worden geteld: de referentieperiode is slechts 2 jaar. Dat is zeer kort omdat het bij veel tijdschriften al bijna zo lang duurt vooraleer een inzending gepubliceerd wordt. Vaak wordt de significantie van vernieuwend onderzoek pas veel later erkend, soms pas na 10 of 20 jaar.
• Een “grote” discipline met veel onderzoekers haalt veel gemakkelijker een hoge impactfactor dan een “kleine” discipline.
• Impactfactoren kunnen gemakkelijk gemanipuleerd worden.

Het is natuurlijk wel een werkje om al die citaties te gaan tellen om zo het onderzoeksbeleid te gaan bepalen. Overheden hebben dat werkje uitbesteed aan de multinational Thomson Reuters, die jaarlijks een Science Citation Index (SCI) publiceert. Thomson Reuters maakt meer winst (ongeveer 1,5 miljard dollar) dan het totaal onderzoeksbudget in Vlaanderen, en een belangrijk deel van die winst (176 miljoen dollar) komt uit hun “wetenschappelijke” deeltak. Die winst wordt ook weer bijna volledig betaald met belastingsgeld voor onderzoek.

Samengevat: overheden investeren in wetenschappelijk onderzoek en willen zoveel mogelijk waar voor hun geld krijgen. Daarom dwingen ze onderzoeksinstellingen (op straffe van minder geld) om hun onderzoekers te dwingen (op straffe van geen promotie of ontslag) om zoveel mogelijk te publiceren. Het gevolg is dat multinationals zoals Springer, Elsevier en Thomson Reuters zeer veel winst maken op kosten van de belastingbetaler. Het gevolg is ook dat de kwaliteit van het onderzoek in het gedrang komt, aangezien risicoloos incrementeel kortlopend onderzoek gestimuleerd wordt terwijl wetenschappelijk waardevolle activiteiten afgestraft worden als ze niet op korte termijn resulteren in publicaties en citaties. Er is steeds minder waardering voor vernieuwend langlopend onderzoek, een diepgaand peer-review proces, onderwijs en maatschappelijke dienstverlening.

Het zijn drukke tijden. Te drukke tijden om hier veel te schrijven. Op m'n werk ben ik onder andere bezig met het organiseren van een zomerschool, het meewerken met het vak Complexiteit van Algoritmen, en het schrijven van papers over CHRiSM en APOPCALEAPS. In m'n vrije tijd ga ik betogen en organiseer ik betogingen, onder andere voor werk, tegen fascisme (nu donderdag in Antwerpen), voor vrouwenrechten (nu zaterdag in Brussel), en voor meer middelen voor hoger onderwijs (23 maart in Leuven). Over die laatste betoging zal ik hier later nog wel iets schrijven.

Nog enkele willekeurige linkjes: tegenwoordig kan je een rolstoel besturen met je gedachten, een Australische dokter adviseert dagelijkse sex, de Amerikaanse TSA security vindt dat stripverhaal-schrijvers terroristen zijn, blijkbaar laten kangoeroes geen scheten, en Haiku Herman is ondertussen geautomatiseerd.