Wie serieus wetenschap wil bedrijven moet publiceren. Bij voorkeur in een hoog aangeschreven journal natuurlijk – een wetenschappelijk tijdschrift met een hoge impact factor dus. Ja, want die impact factor (IF), daar draait het allemaal om. Voor mensen in het vak gesneden koek, maar de IF van een tijdschrift is de (recente) verhouding tussen het aantal keer dat de in-dat-tijdschrift-gepubliceerde studies geciteerd wordt en het totaal aantal citeerbare studies van dat tijdschrift. Hoe hoger de IF van een blad, hoe meer alle andere vakbladen studies uit dat bepaalde tijdschrift aangehaald hebben. Het moge dan ook geen verrassing zijn dat bladen als Nature (IF2010=36) en Science (idem=31) traditioneel tot het topsegment behoren. Echter, de combinatie van digitalisering, internet en zoekmachines lijkt de spelregels te gaan veranderen hebben veranderd, zo stellen George A. Lozano, Vincent Larivière en Yves Gingras in hun onlangs op ArXiv (spreek uit als het engelse archive) gepubliceerde studie. De auteurs vergeleken de correlatie tussen de IF van een journal en het aantal ontvangen citaties in dat journal in de periode 1902-2009 en kwamen tot verrassende conclusies.
Waar vroeger artikels letterlijk verbonden waren met het tijdschrift waarin ze gepubliceerd stonden, is die band nu steeds losser geworden. Sinds het ontstaan van de eerste wetenschappelijke vakbladen in 1665 zijn de meeste artikels gelezen in papiervorm, namelijk in het tijdschrift zelf. Publicaties in populaire, hoog aangeschreven tijdschriften hadden daardoor een hogere kans om te worden gelezen dan artikels gepubliceerd in minder bekende vakbladen. Nu wetenschappelijke informatie met name digitaal verspreid wordt, worden tijdschriften minder als geheel gelezen – via zoekmachines worden artikels gezocht en gevonden naar onderwerp of vakgebied. Zolang tijdschriften opzoekbaar zijn via dit nieuwe medium, worden hun artikels gevonden – met gelijke kansen voor zowel hoog- als laag-aangeschreven vakbladen.
Artikels worden dus in toenemende mate gewaardeerd en geciteerd puur gebaseerd op de inhoud – onafhankelijk dus van de fysieke beschikbaarheid, reputatie en IF van het tijdschrift. Dit lijkt logischerwijs een eerlijke ontwikkeling, maar er zitten wat haken en ogen aan. De IF, oorspronkelijk bedacht in de jaren 60 van de vorige eeuw om academische bibliotheken te assisteren in hun aankoopbeslissingen, heeft zich in de loop van de daaropvolgende decennia ontwikkeld tot een efficiënt referentiekader voor wetenschappers – een baken in de woelige en immer groeiende zee der publicaties. De IF is als het ware garant gaan staan voor de kwaliteit, betrouwbaarheid en aanzien van het tijdschrift, de artikels en auteurs.
Number Crunching
Voor hun studie hadden de auteurs in totaal 25569603 medische en natuurwetenschappelijke artikels, 3211026 natuurkundige- en 879494 sociaal-wetenschappelijke publicaties alsmede 819369970 geciteerde referenties uit de periode 1900-2011 tot hun beschikking. Genoeg om statistiek mee te bedrijven dus. Dat dat nog niet zo’n eenvoudige klus is – temeer omdat voor ongeveer de helft van die periode de IFs nog berekend moesten worden – verwoorden de auteurs min of meer in hun paper, maar uiteindelijk kan er het volgende mee bepaald worden: de coefficient of determination of determinatiecoefficiënt R2. Dit is de mate van correlatie tussen het aantal ontvangen citaties van een artikel (in de eerste 2 jaar na publicatie) en de hoogte van de IF van het blad waarin het gepubliceerd stond. Elk artikel kreeg als het ware deze twee cijfers opgeplakt, alle artikels ingedeeld in groepen op basis van publicatiejaar. Ieder jaar heeft zo twee groepen cijfers, hiervan werd R2 bepaald.
Lees: Hoe hoger de waarde van R2, hoe waarschijnlijker het is dat vaak-geciteerde artikels ook in vakbladen met een hoge impact factor staan – en omgekeerd.
Grafisch komt dit verhaal beter tot z’n recht:
Er zijn een aantal zaken die de auteurs uit bovenstaande grafieken destilleren. Algemene, voor alledrie de vakgebieden geldende zaken zijn: 1) Er is een duidelijke opwaartse trend zichtbaar in grofweg de eerste 90% van de twintigste eeuw; de meest-geciteerde artikels komen dus steeds meer uit de prominente bladen. 2) Een vrij plotse daling treedt op rond het begin van de jaren 90.
Verschillen tussen de drie vakgebieden zien de auteurs ook, met name reppen ze over het feit dat de overgang naar de neerwaartse trend eerder zichtbaar wordt voor de fysische publicaties. Dit komt naar verluidt omdat fysici wat digitalisering betreft ware koplopers waren. Hoewel dit feit best aannemelijk is, wordt dit mij eerlijk gezegd niet helemaal duidelijk hier. Wat mij wel opvalt is dat de trends duidelijker zijn voor de natuurwetenschappelijke, medische en natuurkundige publicaties – maar eigenlijk ook dat de trendlijnen nogal arbitrair geplaatst lijken. Maar goed, kijkend naar de datapunten valt ook de veel hogere absolute waarde die R2 bereikt in laatstgenoemde vakgebieden – en dus de hogere mate van correlatie die bereikt wordt in de medische- en natuurwetenschappen. Deze laatste twee waarnemingen duiden er m.i. op dat het belang om, in de natuurwetenschappelijke (natuurkunde even meegerekend hier) alsmede medische wereld, te publiceren in (en te refereren aan) de grote jongens onder de vakbladen groter werd dan in de sociale wetenschappen. De grote jongens zijn natuurlijk Nature, Science en respectievelijk The Lancet, wie kent deze namen inderdaad niet?
Verder opmerkelijk is het volgende:
Wat je hier dus ziet is dat in de loop van de 20ste eeuw top-artikels steeds vaker in top-vakbladen te vinden waren, tot die beruchte digitalitis in de jaren 90 zijn intrede deed. Wat je vanaf dan ziet is dat top-artikels in toenemende mate in een breder scala aan vakbladen te vinden zijn. Voorts – en wellicht zie ik hierbij iets over het hoofd – kijkend naar de absolute percentages van beide grafieken, is het me een raadsel waar ruim 40% van die top-5% artikelen gebleven is. Deze zijn namelijk noch in de top-5, als in de bottom-95 procent van de vakbladen terug te vinden.
In conclusie
Op basis van deze analyse concluderen de onderzoekers dat de impact factor als maatstaf voor de kwaliteit van wetenschappelijke vakbladen, de artikels en dus de onderzoekers, wel eens zijn betekenis zou kunnen verliezen.* Immers, als de relatie tussen artikel-niveau en IF aan het verzwakken is, verliest de IF ook zijn waarde als maat voor de journal-kwaliteit. Als het goed is betekent dit dus voor artikels weer: ouderwets lezen en daarna pas oordelen.** Ten slotte maken de auteurs nog – terecht – op dat het beoordelen van onderzoekers uitsluitend op basis van de IFs van de vakbladen waarin ze gepubliceerd hebben (heden ten dage schering en inslag) zowel naïef als non-informatief is. Je bent dus meer dan wat je publiceert, dat lijkt me al met al een gezonde ontwikkeling.
*Kritiek op de IF is niet een nieuw fenomeen overigens, er zijn verscheidene goede redenen om niet blind te varen op deze cijfers. Zo kunnen vakbladen hun IF opblazen door bijvoorbeeld gepubliceerde commentaren te tellen als citatie, maar niet als referentie. Ook is er bij het (private) bedrijf dat verantwoordelijk is voor het berekenen van de IF – Thomson Reuters – geen volledige openheid over de manier waarop de berekening uitgevoerd wordt. Daarnaast worden alleen de gegevens van de afgelopen 2 jaar in de berekening meegenomen – een hoge artikel-omzet draaien loont dus meer dan langdurige (duurzame) bijdragen leveren. Zo gaat de lijst nog wel even door, m.i. op zichzelf al genoeg reden om de IF meet een korrel zout te nemen.
**Wellicht is dit artikel zelf ook een goed voorbeeld hiervan. Zo zijn mij tijdens het lezen ervan ook een aantal zaken opgevallen die vraagtekens bij me opriepen, zoals in de tekst een aantal keer vermeld. Waarschijnlijk zouden dit soort vaagheden tijdens het bij zichzelf-respecterende-vakbladen-horende peer-review-proces gesignaleerd en zonodig verbeterd zijn. Echter, het feit dat u dit nu leest geeft uiteraard aan dat ik dit onderzoek desondanks geloofwaardig en interessant genoeg vond om woorden aan vuil te maken…