I database per la valutazione dei ricercatori sono affidabili?

Read time: 4 mins

Un articolo pubblicato su la Repubblica di venerdì 15 settembre sulla disoccupazione giovanile, indica che ogni anno 14 miliardi investiti nella formazione vengono persi a causa della cosiddetta “fuga dei cervelli”. Questi dati, forse quantitativamente da verificare, ma nella sostanza non contestabili, sono anche legati alle crescenti difficoltà della ricerca scientifica e, in particolare, della ricerca di base. Inutile aggiungere che al flusso di ricercatori di ogni età che lascia l’Italia non corrisponde un flusso entrante e il rapporto fra questo e il flusso uscente è nella sostanza trascurabile.

In attesa che il “problema ricerca” entri nelle coscienze collettive e sia colto in modo efficace dalla politica, emerge quasi sistematicamente il “problema valutazione”. Indubbiamente importante se si pensa a un finanziamento della ricerca su base meritocratica. Per i processi di valutazione vengono utilizzati anche gli indicatori bibliometrici. La comunità scientifica generalmente concorda che la valutazione si dovrebbe basare su un insieme di elementi che concorrano ad un risultato finale. Gli indicatori bibliometrici appartengono comunque a questo insieme.

L’utilizzo dei database come sorgente di informazioni per stime bibliometriche è il primo passo verso possibili valutazioni per le quali gli indicatori bibliometrici possono costituire un’utile fonte di informazione. Si pone quindi il problema della validità di ogni database, sia in termini di correttezza quantitativa (ad esempio sulle citazioni di lavori di ricerca pubblicati su riviste), sia sulle sorgenti dell’informazione ricevuta, e infine su criteri di normalizzazione fra ambiti di ricerca diversi altrimenti non confrontabili.

I dati forniti dai database sono utilizzati nei “ranking” internazionali, ma anche nelle richieste di finanziamento a livello Europeo. Il Gruppo 2003 ritiene che questo delicato problema vada opportunamente istruito ed elaborato, e in tal senso intende produrre un documento, da proporre alla comunità scientifica, che evidenzi luci e ombre dei database disponibili.

In sostanza si vuole evitare che sul tema circolino elaborazioni fantasiose e non adeguatamente approfondite, come necessario in ogni approccio scientifico. In attesa di questo documento, desidero rimarcare che la banca dati Web of Science (precedentemente ISI, a cura di Thomson Reuters, e attualmente a cura di Clarivate Analytics) costituisce da decenni il riferimento bibliometrico sistematicamente utilizzato nella comunità scientifica internazionale in un ampio spettro, anche se non completo, di ambiti di ricerca.

Le sorgenti che alimentano il database sono note, costituite da un insieme di riviste e di proceedings, selezionati sulla base di un processo di review piuttosto severo. In sostanza, ogni visitatore conosce queste fonti di informazioni. Inoltre, le riviste sono divise in settori specifici in base all’ambito di ricerca delle pubblicazioni stesse. Questa divisione è fondamentale per poter confrontare settori con metodo di lavoro e di interazione scientifica diversa. È ben noto infatti che il numero medio di citazioni varia molto da settore a settore, e che il confronto è possibile solo se i prodotti della ricerca sono inseriti in ambiti scientifici omogenei in modo da poter confrontare prodotti scientifici “simili”. Analogo discorso vale per le riviste, essendo queste inserite in liste omogenee.

Il database, fornisce il numero di citazioni relative a ogni pubblicazione sia per autori che per riviste scientifiche. Le relative classifiche sull'impatto dei singoli ricercatori sono consultabili sugli “Essential Science Indicators”. In particolare, queste classifiche determinano i ricercatori di maggiore impatto (Influential minds o Highly cited Researchers). Da segnalare, che il ranking universitario Shanghai utilizza il parametro della presenza Highly Cited Researchers per misurare il prestigio delle istituzioni e assegna a esso il 20% del peso nel proprio insieme di indicatori.

Questa breve nota può apparire pedagogica, tuttavia alcuni soci del Gruppo 2003 hanno evidenziato la presenza di note in circolazione che invece meriterebbero ulteriore approfondimento. Quindi ho voluto anticipare queste considerazioni rispetto al lavoro che svolgeremo come Gruppo 2003 e che esaminerà alcuni database evidenziandone la capacità di fornire informazioni utili ai processi di valutazione.

Il documento sul quale il Gruppo 2003 potrà impegnarsi ambisce anche a contribuire al passo successivo, quello dell’analisi degli algoritmi sviluppati e utilizzati dalle agenzie di ranking. Questi potranno avere una componente euristica, tuttavia il livello minimo richiesto per una valutazione attendibile è che si parta da dati unanimemente considerati affidabili.

 

Gli italiani tra gli Highly Cited

Qui sotto è rappresentata la percentuale di Highly Cited italiani negli ultimi 4 anni. L'edizione della lista Clarivate del 2017 è ancora provvisoria. Verrà resa pubblica a metà novembre.

Gli italiani Highly Cited nel 2017 appartengono in gran parte all'ambito medico (21). Qui sotto il numero di ricercatori Highly Cited 2017 per ambito di lavoro.

altri articoli

Anche per le epidemie meglio prevenire che curare

Fin dall'inizio dell'epidemia, le pubblicazioni sul nuovo coronavirus hanno avuto un picco quasi istantaneo. Ma non è una buona notizia: indica, piuttosto, la superficialità con cui ricerca scientifica e la sanità pubblica mondiale si preparano alle nuove minacce epidemiche. Come osserva un editoriale sul Singapore Medical Journal, “non era inaspettata la comparsa di nuovi coronavirus. […] In un mondo con cambiamenti significativi nel clima, nel commercio e nell'ecologia, c'è un rischio costante di nuove emergenze di malattie”.
Nell'immagine: un uomo, indossando una mascherina, usa una pompa per spruzzare una sostanza "anti-influenzale" sconosciuta. Regno Unito, 1920 circa. Hulton-Deutsch Collection/Corbis/Getty Images.

Ma le pandemie sono proprio inevitabili? Non è possibile prepararsi prima? O addirittura prevenirle? Dal 31 dicembre dell’anno scorso, data ufficiale di inizio dell’outbreak di COVID-19, è uscito un numero di articoli scientifici mai registrato in precedenza. Nei grafici che seguono mostriamo come il picco quasi istantaneo di pubblicazioni su SARS-CoV-2 faccia impallidire l’andamento degli studi sulle precedenti infezioni da SARS e MERS.