La metrica delle citazioni ha il vantaggio della semplicità, ma anche molti limiti che vanno dal gender gap all'effetto “piove sul bagnato” evidenziato da uno studio pubblicato su PNAS, per il quale la maggioranza delle citazioni è concentrata su un piccolo numero di articoli.
Crediti immagine: Business photo created by Racool_studio - www.freepik.com
Lo studio delle citazioni è una miniera di informazioni che travalicano le varie discipline della ricerca per sconfinare nella sociologia. Non è un argomento da affrontare a cuor leggero: dal numero di citazioni che ricevono gli articoli che abbiamo scritto possono dipendere i finanziamenti futuri ed eventuali avanzamenti di carriera.
Quella delle citazioni è una metrica molto criticata (con ottime argomentazioni) ma ha il vantaggio della semplicità. Le riviste scientifiche internazionali permettono di contare facilmente le citazioni di ciascun articolo e, una volta che si hanno i numeri, è immediato vedere chi è più citato di altri, ma anche chi cita chi. In questo modo si scopre che gli articoli con primo autore donna sono (in media) meno citati di quelli con primo autore maschio per l’ottimo motivo che gli autori maschi (che sono in numero maggiore) tendono a citare di più articoli scritti da altri maschi piuttosto che quelli scritti da femmine. È il gender gap nelle citazioni, uno delle tante sfaccettature del gender gap in ambito accademico.
Si scoprono anche i citatori seriali, quelli che si autocitano in modo compulsivo perché avere molte citazioni è sempre un buon biglietto da visita. Mentre un certo numero di autocitazioni è normale, con una media fisiologica che si aggira tra il 12 e il 13% del totale, c’è chi è arrivato al 94%, distorcendo completamente la metrica (e dimostrandone i limiti intrinseci).
Tornando ai numeri delle citazioni, dal conteggio alla graduatoria il passo è breve. In effetti, da circa vent'anni viene redatta una lista dei cosiddetti highly cited researchers che comprende coloro che sono autori degli articoli che si piazzano in cima alla classifica e costituiscono l’insieme dell’1% di quelli più citati. Proprio per come è stata fatta la classifica, non è sorprendente che gli articoli degli highly cited tendano ad accumulare citazioni, tuttavia l’effetto cumulativo cresce con il passare del tempo. È quello che emerge da un recente studio basato su 26 milioni di articoli pubblicati tra il 2000 e il 2015 da oltre 4 milioni di ricercatori in 118 discipline scientifiche. La pubblicazione su PNAS non è accessibile senza abbonamento e i risultati sono stati gentilmente riassunti da Nature.
Il dato più eclatante è l’effetto “piove sul bagnato”. Mentre nel 2000 l’insieme degli articoli più citati attraeva il 14% delle citazioni, nel 2015 si era passati al 21%. In altre parole, il 21% delle citazioni sono concentrate sull’1% degli articoli, un dato che fa riflettere e che mette in luce la diffusa disuguaglianza nel mondo delle citazioni dove, evidentemente, pochi lavori vengono citati tantissimo mentre tutto il resto riceve poche o nessuna citazione.
Un controverso studio pubblicato su Science nel 1990 sostiene che la metà degli articoli non riceve nessuna citazione nei cinque anni successivi alla pubblicazione. Altri studi sostengono che la percentuale dei lavori che non ricevono nessuna citazione sia molto più bassa. Considerando i lavori pubblicati nel 2006, Web of Science dice che dopo dieci anni la percentuale dei non citati è del 4% in area biomedica, 8% per la chimica, 11% in fisica per arrivare al 24% nelle tecnologie.
Ma a noi interessa capire la dinamica dei grandi numeri di citazioni. Sicuramente è vero che, con il passare del tempo, l’aumento del numero degli studiosi si riflette nell’aumento dei lavori pubblicati e quindi nell’aumento del numero di citazioni. Visto che però non stiamo parlando di numero medio di citazioni ma piuttosto di concentrazione crescente delle citazioni, è possibile che l’effetto sia, almeno in parte, dovuto al moltiplicarsi delle grandi collaborazioni internazionali che producono articoli di grande rilevanza con centinaia di autori. Non è un caso che il più grande aumento nella concentrazione delle citazioni sia avvenuto in fisica e astronomia, dove le citazioni ai lavori al top sono in continua crescita. Per esempio, erano il 20% nel 2011 e sono salite al 22% nel 2012 e l’aumento continua.
Mentre è chiaro che non c’è nulla di male a partecipare a lavori che ricevono molte citazioni, è evidente che, in caso di concentrazione abnorme delle citazioni in poche aree, si rischia di creare una specie di monopolio scientifico dove tutti quelli che si vogliono mettere in luce finiscono per fare le stesse cose con la speranza di avere molte citazioni e aumentare le loro possibilità di carriera a scapito della diversità (e originalità) del panorama scientifico.
Per mettere in discussione la metrica delle citazioni, prendo a prestito l’esempio citato nel 2014 in una conferenza a Lindau dal genetista Oliver Smithies che raccontò agli studenti del totale disinteresse con cui venne accolto uno dei suoi primi lavori, scritto nel 1953, che, a sua conoscenza, non ha mai ricevuto alcuna citazione. Questo non ha implicato la fine della carriera scientifica dell’autore, che ha ricevuto il premio Nobel per la medicina nel 2007.