Parametri di valutazione, discutiamo di numeri

Recentemente sta avvenendo un vero e proprio braccio di ferro fra due componenti del mondo scientifico-accademico italiano. Riguarda il punto cruciale dei criteri e parametri valutativi per i prossimi concorsi di abilitazione nazionale. Da una parte abbiamo l’ANVUR, che ha proposto criteri relativamente stringenti per l’abilitazione, basati su parametri bibliometrici riconosciuti. Questa posizione viene condivisa da scienziati Italiani all’estero ed in Italia, fra cui il Gruppo 2003. Dall’altra parte abbiamo molta accademia rappresentata dal CUN, e varie associazioni fra cui la Rete 29 Aprile di ricercatori. Pur in modo articolato, il CUN propone criteri meno stringenti e critica i parametri bibliometrici. Soprattutto nelle aree di scienze sociali ed umanistiche, sembra esserci una revulsione ai parametri di valutazione quantitativa, conclamata pure in articoli su giornali dove si scrive, per esempio, quanto sia ‘demenziale’ l’H-index. In questi articoli si trovano anche errori numerici, e quindi diviene imperativo discutere della valutazione del merito accademico sulla base di numeri.

Lo scopo di quest’articolo è presentare un’analisi numerica del criterio principale proposto dall’ANVUR, quello della mediana dei parametri bibliometrici – vedasi il recente articolo di Carra su Scienzainrete. Ho scelto due settori disciplinari di simili dimensioni, ma scientificamente molto diversi: MED/12, gastroenterologia, e M-FIL/03, filosofia morale. La Figura presenta il succo dei risultati ottenuti con lo stesso metodo, i quali possono essere di rilevo per l’abilitazione. Essa mostra il numero degli accademici con valori superiori alla mediana della fascia superiore nel settore (quindi associati con valori superiori alla mediana degli ordinari, e ricercatori con valori superiori alla mediana degli associati) per due parametri: il numero totale di citazioni e l’H-index. Un terzo parametro, il numero di pubblicazioni negli ultimi 10 anni, risulta essere statisticamente meno consistente, sia per le difficoltà di stimarlo compiutamente, sia per le differenze di ‘peso’ che pubblicazioni di diverso tipo hanno – un argomento di grande importanza nelle aree umanistiche e sociali.

I dati presentati qui indicano che l’applicazione stretta del criterio della mediana suggerito dall’ANVUR produce una short list obbiettiva per ciascuna fascia accademica. L’ampiezza della short list cala dai professori ordinari ai ricercatori, con un profilo graduale come ci si aspetterebbe dalla diversa ‘seniority’ degli accademici. La short list degli ordinari, persone che hanno valori superiori alla mediana di tutta la loro fascia nel settore, produrrebbe un’ampia scelta dei commissari, che poi valuterebbero un numero ridotto di associati e ricercatori per esaminarne la promozione accademica. L’altra considerazione è che parametri bibliometrici riconosciuti, come le citazoni e l’H-index, si possono applicare egualmente a settori biomedici ed umanistici, nonostante le grandi diversità quantitative: il valore mediano di H-index risulta essere = 19 per tutto il settore MED/12 e = 2 per tutto il settore M-FIL/03, eppure la distribuzione dei valori è qualitativamente simile. Credo che questa considerazione, basata su numeri empirici, possa sfatare comuni pregiudizi che emergono in Italia riguardo a parametri come l’H-index. Speriamo quindi che il confronto prosegua sui numeri, oltre che sulle opinioni!