La nuova procedura di abilitazione per aspiranti ordinari e associati dell’ANVUR, l’Agenzia Nazionale di Valutazione del settore Universita’ e Ricerca, contiene il primo esempio di valutazione meritocratica su larga scala nel settore. Specialmente negli ambiti che possono beneficiarsi di indicatori bibliometrici, come quello biomedico di cui faccio parte, e’ indubbio che ciò sia un miglioramento quantico rispetto al passato (si veda il recente contributo al riguardo di Alberto Mantovani su Scienza in Rete). Nonostante ciò, il diavolo, come al solito, sta nei dettagli. Questi rivelano come il sistema di monitoraggio oggettivo scelto “collettivizzi” il merito, falsando la prima valutazione in assoluto del sistema esistente e futuro. Per capire che cosa intenda, e’ utile spiegare nel dettaglio come sara’ attuata la valutazione per merito, discuterne pregi e difetti e infine analizzare i dati che ne derivano.
I parametri presi in considerazione dall’ANVUR includono il numero di pubblicazioni dei candidati su riviste scientifiche nei dieci anni precedenti alla richiesta di abilitazione, le citazioni medie ottenute all’anno, calcolate considerando tutte le pubblicazioni, e l’h-index contemporaneo che, piu’ o meno, comprende qualitativamente i primi due (per la formula di calcolo si veda Sidiropoulos A. et al., Scientometrics 2007). L’ANVUR specifica che tali parametri non saranno vincolanti, e che le commissioni di selezione chiamate a decidere chi abilitare sulla base di questo sistema, avranno libertà di considerare l’intero curriculum dei candidati. Nonostante cio’, vengono indicate come soglie non vincolanti le medie ottenute valutando con lo stesso sistema la popolazione attuale di associati e ordinari (I migliori dei quali faranno parte delle commissioni di selezione). In essenza, il pregio di questo sistema e’ che permette di fotografare la produttivita’ scientifica ad oggi esistente all’interno del sistema universita’ e ricerca e confrontarla alla pari con quella di chi chiede di entrarci. Inoltre, selezionando candidati sopra media, si contribuisce a innalzarla nel tempo e, con essa, la qualità del settore.
Uno dei difetti e’ che purtroppo nella valutazione oggettiva per pubblicazioni non si tiene conto in nessun modo del contributo relativo dell’autore nella pubblicazione. Ad esempio, un articolo con vari autori citato un certo numero di volte ha per ANVUR lo stesso peso sia che chi contribuisce sia primo, ultimo autore o altro. Anche se per alcuni settori potrebbe non essere cosi’, nel settore biomedico la differenza tra pubblicare tanto come primo o ultimo autore rispetto ad altre posizioni e’ enorme. Tipicamente, tante pubblicazioni come primo autore identificano colui che ha condotto con successo la maggior parte sperimentale in molti progetti, idealmente un perfetto aspirante associato. Tante pubblicazioni come ultimo denotano chi ha molte volte agito come responsabile scientifico dello studio, un solido potenziale ordinario. Nelle altre posizioni i contributi sono variabili, spesso frutto di collaborazioni, e in genere meno importanti. L’uso della posizione degli autori come criterio di discriminazione e’ relativamente standard, ed e’ infatti attualmente usato insieme ad altri parametri anche in Italia da associazioni come l’Associazione Italiana Ricerca sul Cancro (AIRC) per la selezione meritocratica di progetti scientifici da finanziare. La cecita’ dell’ANVUR a questo parametro premia in modo abnorme le collaborazioni, collettivizzando il merito a discapito dell’efficacia della valutazione meritocratica. Senza adeguata correzione, c’e da aspettarsi che il nuovo sistema fornisca un’immagine un po’ troppo sfuocata della produttivita’ del sistema universita’ e ricerca.
Nonostante la miopia, sempre della prima immagine si tratta e, le medie di associati e ordinari esistenti forniscono gia’ una prima indicazione ad oggi della qualita’ comparto. (vedi tabelle ANVUR 1 e 2). Consideriamo il settore della biologia molecolare o della genetica di cui faccio parte, uno di quelli che maggiormente dipende dalle pubblicazioni. Qui l’associato medio ha pubblicato attorno a 18 articoli negli ultimi 10 anni di carriera, che sono stati citati un totale di 345 volte, cioe’ in media 19 volte per articolo, se consideriamo una ipotetica carriera di 10 anni. Anche se e’ qui che la suddetta miopia complica la valutazione, si tratta di un buon valore per numero di articoli, ma un valore piuttosto basso per le citazioni per articolo, anche considerando che non si escludono le autocitazioni. L’accoppiata alto numero di pubblicazioni - basso numero di citazioni si ottiene solitamente pubblicando lavori su riviste scientifiche poco lette (a questo proposito e’ interessante leggere la polemica su cosa l’ANVUR consideri rivista scientifica nei settori dove e’ piu’ difficile usare strumenti bibliometrici - 1 e 2). La strada da percorrere da qui all’eccellenza si puo’ misurare confrontando le nostre medie ai dati che si ottengono valutando con gli stessi parametri, un ricercatore con approssimativamente 10 anni di carriera in un contesto di eccellenza in USA, Germania, UK o Francia: Roberto Zoncu a Yale (USA): 21 articoli negli ultimi 10 anni citati in media 74 volte per articolo; Federico Calegari da all’ CRT di Dresda (Germania): 23 articoli negli ultimi 10 anni citati in media 56 volte per articolo; Eugenia Piddini al Gurdon Institute di Cambridge (UK) 10 articoli negli ultimi 10 anni citati in media 38 volte; Filippo Del Bene all’Institute Curie 20 articoli negli ultimi 10 anni, 53 citazioni medie per articolo (Fonte Pubmed e ISI o Google scholar per le citazioni). E’ un confronto impari, visto che ho messo a confronto delle medie con degli esempi di singoli. Ma i singoli in questione come si vede sono tutti Italiani e tutti formati all’estero, in contesti dove la meritocrazia e’ applicata da anni.
In sintesi, aver instaurato un sistema di monitoraggio e selezione oggettivo, condiviso e trasparente che ci permetta questo tipo valutazioni e confronti e’ un grandissimo passo avanti. L’immagine che ne deriva, pur sfuocata, non ci fa certo disonore, ma da’ la misura e la direzione di quanto resta ancora da fare. Pubblicare non necessariamente di piu’, ma meglio e da primi attori, e riconoscere e incentivare chi lo fa. Per farlo e’ imperativo continuare sostenere la meritocrazia e migliorarne la valutazione in questo senso.
