Valutare la ricerca italiana con pochi numeri

Ormai da un mese è partito il processo di valutazione dell’accademia italiana che va sotto il nome di VQR2004-2010. [1] Viene gestito dall’ANVUR, che ha istituito 14 panels GEV (Gruppi di Esperti di Valutazione), uno per ciascuna delle 14 aree in cui il CUN aveva diviso l’accademia italiana. [1] Gli oltre 400 esperti GEV sono stati scelti sulla base della loro competenza e altri criteri, fra cui una proporzione di persone affiliate all’estero (circa 20%) che è equivalente a quella presente nella lista dei Top Italian Scientists (TIS). [2]

Risulta ora interessante verificare quanti di questi esperti appartengono alla lista corrente dei TIS e pure a quella precedente del Gruppo 2003, derivata dal sito ISI highly cited® e comprendente un gruppo ristretto di scienziati, generalmente TIS ma che lavorano solo in Italia. Poichè le liste sono state compilate sulla base di parametri bibliometrici ben riconosciuti nelle aree scientifiche 01-06, la verifica vien qui fatta su queste aree.

Fra tutti gli esperti GEV ci son 5 persone appartenenti al Gruppo2003, ma solo 3 di queste nelle aree 01-06. D’altra parte, ci sono 109 TIS fra gli esperti GEV delle aree 01-06. Questi numeri son molto diversi in termini assoluti, ma simili in termini relativi rispetto al numero globale degli appartenenti alle due liste (meno di 100 per quelli del Gruppo 2003, e quasi 2500 per i TIS). Anche se la distribuzione dei TIS per area dipende ovviamente dalla diversa metrica di citazione nelle varie discipline, è interessante rilevare come la proporzione di TIS fra i membri GEV sia mediamente oltre il 50%, con valori del 65% per le scienze biologiche e del 73% per quelle fisiche. Inoltre le scienze mediche annoverano degli italiani all’estero che son al vertice della lista TIS, come Carlo Croce e Pier Paolo Pandolfi.

 
Figura 1. Relazione fra il valore globale di H-index e il valore medio
di Impact Factor (average IF secondo i dati ISI del 2010, pannello 
superiore) e delle citazioni ricevute (average citations, pannello
inferiore) dei lavori maggiormente citati (da 6 a 12) per 20 scienziati
TIS appartenenti ai settori di BIO/10, BIO/11, BIO/12 e BIO/14 nell’area
di scienze biologiche. La correlazione lineare dei dati viene mostrata
col numero del coefficiente di correlazione (R2).

Ma come lavoreranno i GEV? Dovran valutare prodotti di ricerca - fondamentalmente lavori su riviste scientifiche - in armonia con le direttive ANVUR, che richiedono un’integrazione fra parametri bibliometrici e di peer review. Un’analisi empirica su vari TIS di settori biochimico-molecolare rivela la scarsa capacità discriminatoria del parametro tradizionalmente usato per calibrare la qualità di un lavoro, il valore di Impact Factor (IF) della rivista in cui quel lavoro viene pubblicato. Nel pannello superiore della Figura 1 si nota infatti come il valore medio di IF dei lavori maggiormente citati di un gruppo di scienziati TIS mostra una scarsissima correlazione con gli H-index degli stessi scienziati. Bisogna quindi considerare altri parametri che, applicati a pochi lavori, possano produrre una buona correlazione con i valori individuali di H-index – ampiamente riconosciuto come indicatore di impatto e qualità scientifica in buona parte dell’area di scienze biologiche. Un parametro efficace sembra essere il valore medio delle citazioni ottenute per i lavori maggiormente citati nel periodo di valutazione del VQR (dal 2004), come mostrato nel pannello inferiore della Figura 1, ed ancor meglio nella Figura 2, in cui viene correlato con i valori di H-index calcolati dal 2004 ad oggi. Pur con le sue chiare limitazioni, quest’analisi pilota indica un utile concetto empirico: il computo delle citazioni dei lavori recenti di una persona produce una stima potenzialmente efficace del calibro scientifico di quella persona.

In essence, what you write is more important than where you write!

Figura 2. Relazione fra i valore di H-index per il periodo 2004-2010
ed il valore medio delle citazioni nello stesso periodo per una selezione
degli scienziati nella Figura 1. Notare il maggiore coefficiente
di correlazione R2 che dei pannelli nella Figura 1, mentre il grafico
del IF medio degli stessi scienziati mostra un R2 = 0.06 nei confronti
del H-index per il periodo dal 2004.

[1] http://www.anvur.org/?q=schema-dm-vqr-definitivo#
[2] http://www.topitalianscientists.org/Top_italian_scientists_VIA-Academy.aspx