La classifica è vera gloria?

L’Imperial College dichiara che 

“no longer considers journal-based metrics, such as journal impact factors, in decisions on the hiring and promotion of academic staff."

È una notizia interessante, perché il dibattito su come debba essere valutata la ricerca si incendia proprio quando si mette di mezzo il criterio bibliometrico. Però anche l’Imperial ha ceduto alla vanità e ha pubblicato l’elenco dei suoi ricercatori di punta estratto dal file allegato alla recente ricerca di John Ioannidis, biomedico prestato alla bibliometria, che ha ridefinito i ranking basati sulla bilbiometria eliminando le autocitazioni. Il file contiene i 100.000 ricercatori più citati di una popolazione ancora più vasta: un milione di ricercatori censiti tra gli autori delle pubblicazioni scientifiche degli ultimi venti anni (1996–2017).

Un precedente articolo di Scienza in rete ha esplorato pregi e criticità di questo lavoro. In sintesi: le autocitazioni sono capaci di condizionare la parte bassa della classifica (per esempio Antonino Zichichi passa dalla posizione 89.681 alla 147.694), ma non quella alta che effettivamente sembra rispecchiare i reali valori in campo. In ogni caso i risultati di questi complessi calcoli sono più utili a descrivere i fenomeni generali che non a creare una classifica puntuale, ricercatore per ricercatore. 

Di seguito una prima occhiata alla situazione italiana. Dei 105.000 ricercatori in elenco, 46.000 lavorano in istituzioni USA mentre nelle istituzioni italiane se ne trovano circa 2.000. Dei primi 1.000 ricercatori 605 sono negli USA, 104 in Gran Bretagna, 12 in Francia, 10 in Italia (come in Cina).

Tabella 1. Distribuzione dei primi 1.000 ricercatori per nazione dell’istituzione ospite

Italia, Francia e Gran Bretagna (paesi simili per popolazione e dimensione economica) hanno un modo diverso di stare in graduatoria? Sembra di sì. A parte il numero molto maggiore di ricercatori top della GB in generale i ricercatori GB sono più propensi a occupare le posizioni più alte. Una differenza minima ma apprezzabile. Emerge il contesto molto più favorevole in cui operano i ricercatori oltre manica.

Figura 1. Distribuzione di tutti i ricercatori per posizione in elenco (GB, Francia, Italia)

Confronto per discipline

In quali discipline, delle 21 censite, sono impegnati i ricercatori più citati? Principalmente in quelle mediche, seguite a distanza da quelle biologiche e fisiche (tabella 2).  

Tabella 2. Le discipline dei ricercatori

La distribuzioni dei ricercatori italiani ricalca quella generale (tabella 3) con una piccola ma significava variazione: fisica e chimica, in cui l’Italia ha sempre avuto un ruolo di prestigio, sono al secondo terzo posto. 

Tabella 3. Discipline dei ricercatori ospiti in istituzioni italiane

Se si analizza la distribuzione della posizione dei ricercatori italiani per singola disciplina non si notano differenze: la distribuzione è omogenea (figura 2), senza addensamenti verso l’alto o verso il basso della graduatoria.

Figura 2. Distribuzione dei ricercatori italiani per posizione in elenco nelle varie discipline

Classifica delle istituzioni ospiti

Se si aggregano le istituzioni ospiti per numero di ricercatori trionfano -ovviamente- gli USA: Harvard University (2.011) e Stanford University (996) a seguire svariate altre istituzioni USA. La prima azienda è la IBM, con 100 ricercatori in graduatoria (per un confronto rapido: il CNR 102).

Cosa succede se si analizzano gli enti che ospitano i primi 1.000? Di nuovo Harvard University (67) e Stanford University (27). Nei primi 20 enti per top 1.000 ricercatori, l’Europa trova spazio solo con l’Università di Cambridge (quarto posto, 20 ricercatori), lo University College London (ottavo posto, 14 ricercatori) e l’Imperial College (17° posto, 9 ricercatori).

Uno zoom sugli italiani nei primi 1.000

Per gioco si può vedere chi sono gli italiani nei primi 1.000 e le relative istituzioni.

Tabella 2. I 10 italiani nei primi 1.000

Una graduatoria da prendere con le molle, perché estratta dalla base dati più ampia mentre in successivi approfondimenti sarà utile analizzare gli elenchi per le singole discipline. Per due motivi: anzitutto non è del tutto lecito confrontare discipline enormemente più partecipate di altre (es medicina contro matematica o filosofia); in secondo luogo per scelte metodologiche di Ioannidis, tra tutte quella di attribuire una ricerca solo al primo firmatario, una regola valida in alcuni ambiti (in cui si posizione al primo posto chi effettivamente ha dato il contributo maggiore) ma non in altri in cui vige la regola di posizionare gli autori in mero ordine alfabetico.

I top sono davvero al top?

Questi ammonimenti trovano giustificazione quando si cercano alcuni scienziati che sicuramente sono top (per esempio i premi Nobel 2019) e li si trova solamente nei bottom. Per esempio:

Medicina
William Kaelin Jr.: 439
Peter J. Ratcliffe: 3.786
Gregg L. Semenza: 14

Fisica
James Peebles: 9.698
Michel Mayor: 41.596
Didier Queloz: 88.714

Chimica
John B. Goodenough: 112
M. Stanley Whittingham: 2.864
Akira Yoshino: nd

A parte alcuni ricercatori nella zona alta della graduatoria, alcuni non hanno per nulla l’aspetto di top player. E se i premi Nobel non vengono assegnati spulciando le classifiche, ci sarà un perché.

Nota bibliografica Ioannidis J et al. A standardized citation metrics author database annotated for scientific field. PLoS Biol. 2019 Aug 12;17(8):e3000384. doi: 10.1371/journal.pbio.3000384. eCollection 2019 Aug. Rispetto al file di Ioannidis sono state corrette le affiliazioni di Alberto Mantovani (Humanitas Milano) e Nicola Bellomo (Politecnico di Torino)