Valutare la ricerca italiana con pochi numeri

Read time: 4 mins

Ormai da un mese è partito il processo di valutazione dell’accademia italiana che va sotto il nome di VQR2004-2010. [1] Viene gestito dall’ANVUR, che ha istituito 14 panels GEV (Gruppi di Esperti di Valutazione), uno per ciascuna delle 14 aree in cui il CUN aveva diviso l’accademia italiana. [1] Gli oltre 400 esperti GEV sono stati scelti sulla base della loro competenza e altri criteri, fra cui una proporzione di persone affiliate all’estero (circa 20%) che è equivalente a quella presente nella lista dei Top Italian Scientists (TIS). [2]

Risulta ora interessante verificare quanti di questi esperti appartengono alla lista corrente dei TIS e pure a quella precedente del Gruppo 2003, derivata dal sito ISI highly cited® e comprendente un gruppo ristretto di scienziati, generalmente TIS ma che lavorano solo in Italia. Poichè le liste sono state compilate sulla base di parametri bibliometrici ben riconosciuti nelle aree scientifiche 01-06, la verifica vien qui fatta su queste aree.

Fra tutti gli esperti GEV ci son 5 persone appartenenti al Gruppo2003, ma solo 3 di queste nelle aree 01-06. D’altra parte, ci sono 109 TIS fra gli esperti GEV delle aree 01-06. Questi numeri son molto diversi in termini assoluti, ma simili in termini relativi rispetto al numero globale degli appartenenti alle due liste (meno di 100 per quelli del Gruppo 2003, e quasi 2500 per i TIS). Anche se la distribuzione dei TIS per area dipende ovviamente dalla diversa metrica di citazione nelle varie discipline, è interessante rilevare come la proporzione di TIS fra i membri GEV sia mediamente oltre il 50%, con valori del 65% per le scienze biologiche e del 73% per quelle fisiche. Inoltre le scienze mediche annoverano degli italiani all’estero che son al vertice della lista TIS, come Carlo Croce e Pier Paolo Pandolfi.

valu1 
Figura 1. Relazione fra il valore globale di H-index e il valore medio
di Impact Factor (average IF secondo i dati ISI del 2010, pannello 
superiore) e delle citazioni ricevute (average citations, pannello
inferiore) dei lavori maggiormente citati (da 6 a 12) per 20 scienziati
TIS appartenenti ai settori di BIO/10, BIO/11, BIO/12 e BIO/14 nell’area
di scienze biologiche. La correlazione lineare dei dati viene mostrata
col numero del coefficiente di correlazione (R2).


Ma come lavoreranno i GEV? Dovran valutare prodotti di ricerca - fondamentalmente lavori su riviste scientifiche - in armonia con le direttive ANVUR, che richiedono un’integrazione fra parametri bibliometrici e di peer review. Un’analisi empirica su vari TIS di settori biochimico-molecolare rivela la scarsa capacità discriminatoria del parametro tradizionalmente usato per calibrare la qualità di un lavoro, il valore di Impact Factor (IF) della rivista in cui quel lavoro viene pubblicato. Nel pannello superiore della Figura 1 si nota infatti come il valore medio di IF dei lavori maggiormente citati di un gruppo di scienziati TIS mostra una scarsissima correlazione con gli H-index degli stessi scienziati. Bisogna quindi considerare altri parametri che, applicati a pochi lavori, possano produrre una buona correlazione con i valori individuali di H-index – ampiamente riconosciuto come indicatore di impatto e qualità scientifica in buona parte dell’area di scienze biologiche. Un parametro efficace sembra essere il valore medio delle citazioni ottenute per i lavori maggiormente citati nel periodo di valutazione del VQR (dal 2004), come mostrato nel pannello inferiore della Figura 1, ed ancor meglio nella Figura 2, in cui viene correlato con i valori di H-index calcolati dal 2004 ad oggi. Pur con le sue chiare limitazioni, quest’analisi pilota indica un utile concetto empirico: il computo delle citazioni dei lavori recenti di una persona produce una stima potenzialmente efficace del calibro scientifico di quella persona.

In essence, what you write is more important than where you write!

valu2
Figura 2. Relazione fra i valore di H-index per il periodo 2004-2010
ed il valore medio delle citazioni nello stesso periodo per una selezione
degli scienziati nella Figura 1. Notare il maggiore coefficiente
di correlazione R2 che dei pannelli nella Figura 1, mentre il grafico
del IF medio degli stessi scienziati mostra un R2 = 0.06 nei confronti
del H-index per il periodo dal 2004.

 

 

 

 

 

 

 

 

 

 

 

 

Classifica ISI e TSI degli scienziati del Gruppo 2003 Missing from top list with h-index >70 - working in Italy

[1] http://www.anvur.org/?q=schema-dm-vqr-definitivo#
[2] http://www.topitalianscientists.org/Top_italian_scientists_VIA-Academy.aspx

altri articoli

Le notizie di scienza della settimana #104

Il biologo molecolare russo Denis Rebrikov ha dichiarato che ha intenzione di impiantare nell'utero di una donna embrioni geneticamente modificati con la tecnica CRIPSR entro la fine dell'anno. L'obiettivo sarebbe quello di prevenire che la madre, colpita da una forma di HIV resistente ai farmaci antiretrovirali, trasmetta il virus ai propri figli. Per farlo, Rebrikov userebbe la tecnica CRISPR-Cas9 per disattivare il gene CCR5, in modo simile a quanto fatto dallo scienziato cinese He Jiankui che lo scorso novembre aveva annunciato di essere stato il primo a far nascere una coppia di gemelle con questo procedimento (He voleva però evitare la trasmissione del virus dell'HIV dal padre alle figlie). La legislazione russa proibisce l'editing del genoma umano in senso generale, ma la legge sulla fertilizzazione in vitro non vi fa esplicito riferimento, e dunque Rebrikov potrebbe trovarsi di fronte un vuoto normativo che conta di colmare chiedendo l'autorizzazione di una serie di agenzie governative, a partire dal Ministero della salute. Scienziati ed esperti di bioetica si dicono preoccupati. La tecnologia non è ancora matura, motivo per cui qualche mese fa un gruppo di importanti ricercatori del campo avevano chiesto di mettere a punto una moratoria sul suo utilizzo in embrioni destinati all'impianto in utero. Non è chiaro poi se i rischi superino i benefici. In primo luogo, la disattivazione del gene CCR5 protegge dalla trasmissione del virus dell'HIV nel 90% dei casi. In secondo luogo, il rischio di mutazioni off-target e on-target indesiderate è ancora molto alto. Rebrikov sostiene che la sua tecnica ne riduca drasticamente la frequenza, ma finora non ha pubblicato alcuno studio scientifico che lo dimostri. Nell'immagine: lo sviluppo di embrioni umani geneticamente modificati con la tecnica CRISPR per correggere una mutazione responsabile della cardiomiopatia ipertrofica (lo studio, condotto nel laboratorio di Shoukhrat Mitalipov presso la Oregon Science and Health University di Portland, risale al 2017 ed è stato pubblicato su Nature). Credit: Oregon Science and Health University. Licenza: OHSU photos usage

Dove finisce la plastica dei ricchi?

Ogni anno gli Stati Uniti producono 34,5 milioni di tonnellate di rifiuti di plastica. 1 milione di tonnellate vengono spedite fuori dal continente. Fino a qualche anno fa la maggior parte veniva spedita in Cina e Hong Kong, ma nel 2017 la Cina ha chiuso le porte a questo tipo di importazioni, autorizzando solo l'arrivo della plastica più pulita e dunque più facile da riciclare.