Heeft Peer review nog toekomst?

KNAW-themabijeenkomst “Heeft peer review nog toekomst?”
Robbert Dijkgraaf, voorzitter van de KNAW opent de druk bezochte bijeenkomst op maandagmiddag 30 november, met een volmondig JA. Immers zo’n retorische vraag wordt altijd met ja beantwoord.

In 40 tweets heb ik de bijeenkomst in real time verslagen met als hashtag #peer09.

Iedereen was het eigenlijk wel eens over het belang van peer review voor de kwaliteit van onderzoek, althans het belang van onafhankelijk toetsing. Waarom dan toch zo’n bijeenkomst? Vanwege de snelle groei van de kennisproductie, de toenemende academische competitie, en economisch en politieke druk.
Wat peer review is kunnen we nalezen in Wikipedia:

“is the process of subjecting an author's scholarly work, research, or ideas to the scrutiny of others who are experts in the same field”

Volgens Borst zijn er maar 3 vragen belangrijk voor wetenschappelijk peer review:
- is t waar,
- is t nieuw,
- stelt te wat voor
Blockmans spreekt over het vele evalueren: “The audit society” en over “The over-assessed academic". Er is veel kritiek en weerstand tegen al die metingen en evaluaties. En in de sociale wetenschappen en humaniora is er weinig vertrouwen in citatie-indexen en impactfactoren. De publicatiecultuur is volgens hem “under-valued”en hij noemt taal, interdisciplinariteit, tijd (kwaliteit heeft tijd nodig) als breekpunten.

Matthew effect: advantages of scale and reputation. Die term kende ik niet voor de evaluatie van wetenschappelijk onderzoek, maar behelst het effect dat ‘de duivel altijd op de grote hoop schijt’, ofwel ‘rijken worden rijker, armen worden armer’.

De volgende spreker, Peter Nijkamp, had in zijn hoedanigheid als voorzitter van de EuroHORCS al eens een internationaal congres in Praag georganiseerd over peer review in het kader van ESF.
Daar is ook een rapport van: European Science Foundation: Peer review – Its present and future state, Prague, 12-13 October 2006. Conference report.
ESF, Strasbourg, March 2007. Wel opmerkelijk is dat er meermalen gezegd werd dat er zo weinig onderzoek over peer review zelf gedaan werd, terwijl er toch een aanzienlijke hoeveelheid literatuur over te vinden is. Het Wikipedia artikel geeft alleen al 31 referenties, maar als je in Web of Science op “Peer review” zoekt en vervolgens verfijnd naar Library & Information Science dan krijg je nog 383 citaties. Dat werd later ook bevestigd door een medewerker van het Rathenau instituut, die zelf onderzoek doet naar evaluatiesystemen voor de wetenschap, en die zelf ook een ruime hoeveelheid literatuur had gevonden over peer review. De hele bijeenkomst ademde ook een sfeer van discussie op grond van ervaring en niet zozeer op grond van kennis.

Nijkamp beschouwt het peer review systeem als superieur, maar er zitten wel haken en ogen aan. Als valkuilen noemt hij: verscheidenheid, matige herkenning van innovatie, disciplinaire focus en het ‘individual optimum’. Hij heeft 10 stelling opgeschreven, bedoeld als aanzet voor discussie. Kort opgesomd gaat het over:
- Internationale benchmark analyse is noodzakelijk
- Beoordeling door erkende internationale experts,
- Rationele gronden
- Schaarste aan experts (en hun tijd),
- Vraagt om stroomlijning en grotere efficiency,
- Richtlijnen zijn daarbij nodig, misschien zelf een ‘startbewijs’ voordat je iets mag indienen
- Pas als iedereen in een lingua franca publiceert, kun je kwaliteit vergelijken,
-Publiceren moet daarom in peer reviewed journals,
- Met max 4 auteurs, anders wordt het moeilijk om werk toe te schrijven aan de individuele onderzoeker afzonderlijk
- Open Access is geen wetenschappelijk, maar een economisch onderwerp.
Hij bepleit de inrichting van een internationaal centrum voor scientifc review, waarbij aandacht moet worden gegeven aan richtlijnen en training.

Fiona Godlee, redacteur van BMJ, vertelt vervolgens over de praktijken bij BMJ. Peer review heeft volgens haar 3 doelen: selectie, improve, malfeasance voorkomen.
Peer Review en samenwerking van uitgevers kan fraude, plagiaat e.d. voorkomen met bijv. CrossCheck, en daar geeft ze een aantal aardig voorbeelden bij. Bijvoorbeeld hoe een door BMJ afgewezen artikel wel in een ander tijdschrift werd gepubliceerd, maar later toch moest worden teruggetrokken, maar inmiddels al wel volop werd/wordt geciteerd. Zij pleit voor real time open peer review (in combinatie open access). Verandering gaat langzaam, zegt Godlee, en de wetenschappelijke wereld is tamelijk conservatief. De shift naar online is de belangrijkste verandering geweest.

Stoof probeert de relatie te vinden tussen krappe onderzoekbudgetten en de uitstekende prestaties van het Nederlandse onderzoek. Hij heeft het over de evaluatie van de onderzoeksgroepen zoals in het SEP wordt aangegeven. Waarbij z.i. de peer review visits veel te veel werk met zich meebrengen.

Als laatste spreker een vertegenwoordiger van de jonge onderzoekers Marjolein van Asselt. Zij heeft de vraag voorgelegd aan leden van De Jonge Academie(DJA) en uit de antwoorden haar presentatie samengesteld. Zij pleit voor ‘reviewers ethics’, een soort gedragscode voor reviewers, voor het geven van credits voor goede reviews, en voor een snelle afhandeling van de review-procedure. DJA heeft ook vraag naar goede supervisie, waardoor het beter en makkelijker is om een manuscript gepubliceerd te krijgen.

Na de pauze worden er workshops georganiseerd, waarbij het de bedoeling is over een onderwerp te discussiëren.Ik volg de workshop Wetenschappelijke Publicaties olv Prof v.d. Vorst, zelf “Highly cited”, schreef een artikel over hoe je een veelgeciteerd artikel moet schrijven. Ik heb ook een vraag ingestuurd voor de workshop

:”Kunnen we een systeem organiseren waarbij een publicatie snel online gepubliceerd kan worden. Liefst zonder tussenkomst van commerciële uitgevers, waarbij de peer review online en transparant plaats vindt. In andere woorden: hoe kunnen we peer review loskoppelen van commercie?”

Die vraag kwam wel aan de orde: laat de wetenschappers het peer review in eigen hand nemen en daar desnoods de uitgevers voor inhuren. Aanwezige uitgevers (o.m. Elsevier) vonden dat niks en de aanwezige onderzoekers keken een beetje glazig. Een deelnemer stelt dat het review-systeem is gebaseerd op schaarste van publikatieplaatsen, maar dat dat nu niet meer nodig is. Hij stelt voor: eerst publiceren dan reviewen, maar krijgt daar helemaal geen bijval voor. In een andere workshop wordt wel de oprichting van publicatieplatforms besproken: korte monitoring vooraf, online publiceren en achteraf reviewen. Maar men zag toch ernstige bezwaren in de beheersbaarheid van zo’n systeem. Het levendigst is de discussie over de opheffing van de anonimiteit van de reviewer. De meningen zijn daarover verdeeld, maar de meerderheid is wel van mening dat er meer waardering/zichtbaarheid aan het werk als reviewer moet worden toegekend.
Wat betreft het reviewen van grant applications dat is van een heel andere categorie dan die voor tijdschriftartikelen. Omdat Nederland zo klein is en iedereen elkaar kent wordt er voorgesteld om uitsluitend internationale experts te laten oordelen, of ook een mooi idee: je selecteert de echte toponderzoekers en de hele slechte eruit en voor de rest hou je een loterij!

Uitkomst van de bijeenkomst in steekwoorden:
- Kwaliteit van proces en reviewers
- Transparantie, waardering van inzet
- Belang van educatie en training
- Ethische code reviewers

Er komt een rapportage van de ideeën uit de peer review bijeenkomst en naar internationaal forum gezet