Valutazione della ricerca? No, grazie ...

Read time: 4 mins

Leggendo il titolo qui sopra, gli amici che hanno letto quanto da un po’ vado dicendo e scrivendo penseranno che io sia andato fuori di testa. E allora chiedo scusa:  il titolo è paradossale: avrei dovuto scrivere, in realtà, no, grazie alla valutazione fatta in questo modo. Perché sono appena divenuti pubblici i risultati delle valutazioni dei PRIN, che sono la fonte principale di finanziamento della ricerca pubblica in Italia: risultati sbalorditivi, che mi hanno appunto spinto al titolo paradossale. I progetti presentati erano circa 4.000, e di questi quasi 1.000 sono stati ammessi al finanziamento: circa il 25%, quindi, cioè una percentuale molto generosa rispetto a quanto succede altrove. Il che ha comportato - giusta la regola del finanziamento a bagnafiori - tagli macroscopici dei finanziamenti ai singoli progetti, e l’attribuzione ad essi di somme frequentemente risibili. Ma il punto non è questo: ho disaggregato i dati, e ne è venuto fuori che il 27,9 % dei 986 progetti  finanziati ha ottenuto il punteggio di 60/60. Avete capito bene? Quasi un terzo dei progetti finanziati ha ottenuto il massimo punteggio! Ed i  59/60, 58/60, e 57/60 hanno dato percentuali virtualmente eguali ai 60/60! Di più: i 58-59-60/60  sono stati circa il 20% di tutti i progetti PRESENTATI! Perbacco, si dirà, che meraviglia, che successo strepitoso, siamo proprio un popolo di geni! Altro che America, Inghilterra, Svizzera, eccetera. Ma di che si lamentano tutte queste cornacchie? Bene, ecco di cosa si lamentano:  del fatto che  queste percentuali simil-bulgare sono una burla o una truffa. In entrambi i casi, per parlar chiaro, ci dicono  che la valutazione - questa valutazione - è stata un fallimento totale. Ma avete capito che cosa è successo?  E’ successo che la inesauribile inventiva italica  - ma ti pareva -  ha escogitato un modo semplice, indolore, e molto astuto di annullare la valutazione, attribuendo a tutti votazioni pindariche. E praticamente tutti i valutatori, come si è visto, hanno seguito questa regola, tutti  meno i pochissimi  sprovveduti  - quorum ego -  che hanno attribuito a buoni progetti il voto che pareva altissimo di 56/60  solo per vederli respingere... . Per non parlare delle telefonate tra i co-valutatori (so di cosa parlo)  per accordarsi, obtorto collo magari, su un 60/60, “perché altrimenti il progetto non passa”.

Chiaro, chiarissimo, che qui da noi manca la cultura della valutazione. Chiaro anche che, altisonanti proclami a parte, non si riesce proprio ad introdurla.  Avete presente  la storia del Re Mida, che trasformava in oro tutto quello che toccava ? Ecco, qui da noi la storia del Re Mida funziona a rovescio: tutte le cose ben fatte che tocchiamo, oro quindi, si trasformano in... non voglio completare la metafora. Non è questa la sede per cercare di capire perché sia così: io penso, e l’ho anche scritto, che un ruolo importante abbia la nostra educazione cattolica, basata, come si sa, sul concetto di raccomandazione. Ma, di nuovo, non è questo il punto: il punto è che occorre proporre qualcosa, ed è tutt’altro che facile. Si potrebbe ad esempio pensare - per favore non ridete - ad un finanziamento per sorteggio. Che non sarebbe forse peggio della valutazione che abbiamo appena subito, ma che comporterebbe un rischio troppo alto di imbrogli. Eppoi, figuriamoci, si direbbe subito che non è una cosa seria. E allora, e qui non sto proprio scherzando, a me sembra che la cosa migliore, forse la sola fattibile, sia attribuire i finanziamenti senza valutazione ex ante, o con una minima valutazione ex ante, sulla base dell’attività precedente, e dei risultati precedenti, del richiedente. O, nel caso dei novizi, sulla base di una rapida lettura del progetto. Come se si dicesse : toh, eccoti i fondi, mostraci quello che sai fare. Ma  questo è IL PUNTO: dopo tre anni il tizio, o la tizia, saranno valutati per quello che hanno fatto. Ex post, quindi, espressione magica che, come si sa, in Italia non ha cittadinanza. Se trovati scarsi, andranno a fare (metaforicamente) il muratore o la badante. Ah, ah, qui casca l’asino, sento già dire, avremo di nuovo le solite raffiche di valutazioni stellari. Eh, no, qui non casca proprio nessun asino, perché la valutazione ex post dovrà essere affidata, almeno fintantochè non avremo imparato, a Commissioni rigorosamente straniere. E qui sento già altissimi lai, anche da amici che stimo: ma come, ma è umiliante, ma noi chi siamo.... Siamo come siamo: non che gli stranieri siano tutti unti dal Signore, non vivo nel mondo di Peter Pan: ma hanno un’educazione diversa (ecco che qui viene in ballo l’educazione protestante), ed il concetto di meritocrazia gli è oramai entrato nel DNA (a proposito, che fine ha fatto l’ANVUR ? Lì gli stranieri erano previsti, eccome!). Quindi, rassegniamoci.

Vabbè, diciamo che volevo provocare. Però, però...  

Articoli correlati

Commenti

ritratto di Michele Ciavarella

Caro Prof. Carafoli, a me pare che Lei con la Sua provocazione abbia in reatà avuto un'idea geniale. Il problema che Lei solleva è ancora più serio nel caso dei progetti FIRB-Futuro in Ricerca, per cui sono pervenuti 3 miliardi di euro di richeiste di progetti, ma solo 50 milioni finanziati, anzi forse ora si parla di 96, si veda RICERCA - LA FUGA DEI CERVELLI "Per un punto il giovane se ne andò all'estero di Fabio Beltram, il Sole 24 ore, 30/1/2010". Lo ha letto? E' molto simile alla Sua analisi dei PRIN, ma persino molto peggio: " Le proposte non sono mancate, quasi 4mila, confermando la drammatica sproporzione tra risorse disponibili (50 milioni) e richieste….. Sotto la pressione della difficile scelta (e non solo di quella) il Comitato Firb entra in fibrillazione e il presidente arriva alle dimissioni: nulla succede per dare le risposte rapide e rigorose attese dai giovani proponenti. Monta quindi la protesta per il ritardo e sull'onda del "fare presto" le regole della selezione vengono, ahimé, "semplificate". Scompaiono quasi completamente gli stranieri, e valutatori quasi tutti italiani (in moltissimi casi, un solo valutatore) giudicano le proposte. In questi giorni sono stati ammessi a un'audizione a partire dal mese di febbraio un totale di 204 progetti. Il 95% circa delle proposte, ovvero 3.588, è stato scartato in base alla sola votazione numerica attribuita, senza alcuna valutazione comparativa, senza un disegno equilibrato tra le diverse aree scientifiche, senza alcuna reale possibilità di capire il ruolo effettivo del proponente. L'esempio delle procedure seguite per gli Starting Grant di Erc o gli altri progetti europei non è stato considerato." Ho sentito dire da alcuni Rettori, non so chi è la fonte originale, che la valutazione in Italia sarebbe una "sindrome di Bertoldo", dal nome del contadino furbo che, condannato dal principe, chiede di poter "almeno" scegliere la pianta su cui impiccarsi, salvo mettersi subito a cercarne una talmente bassa da non fargli nemmeno un graffio. Messa sul serio, oggi la crisi finanziaria internazionale, sta mettendo in ginocchio il settore privato (prima ancora che il pubblico) i cui ricercatori, sono “nuovo esercito di disoccupati” (vedasi due articoli del CorSera del Glaxo, o i 26 gruppi industriali ad alta tecnologia in crisi dal Piemonte alla Campania nonostante 1.5miliardi di Euro investiti). Probabilmente, manca una visione strategica e una dimensione perlomeno Europea per potersi confrontare non solo con gli USA, ma anche con l’emergere delle Tigri Asiatiche. Inoltre, su questi temi fondamentali, non si riesce ad avere in Italia una politica di largo respiro, bipartisan, strategica. Mentre noi da troppo tempo ci siamo arenati a parlare del "nodo" valutazione, il mondo ha fatto piani "stimulus" alla ricerca di decine di miliardi, già operativi. Obama lo ha fatto nel febbraio 2009 allargando il finanziamento ai progetti già valutati (probabilmente meglio dei nostri) ma non entrati nella fascia finanziabile (si veda www.recovery.gov), la Germania ha fatto un piano decennale di Eccellenza e la Francia un Grand Emprunt da 30 miliardi, con fondi in parte privati! Tutte notizie riportate su questa rivista. Ora, noi abbiamo fatto un ottimo tentativo nel lasciar valutare a NIH alcuni progetti per iniziativa del Min.Fazio, ma non si può pensare di affogare di progetti italiani la valutazione USA, anche perchè il progetto Stimulus di Obama ha iniettato tanti soldi da affogare persino la valutazione USA! Invece la Sua idea corrisponde abbastanza con quella che sto tentando di portare avanti io (si vedano vari appelli sul "Manuale del Rettore Virtuoso", http://rettorevirtuoso.blogspot.com), di fare un piano "stimulus" italiano, facendo una ricognizione di fondi disponibili, qualcuno dice per esempio che l'Istituto Italiano della Tecnologia potrebbe avere disponibilità di cassa, o fondi europei che noi non riusciamo mai a far rientrare per decine di miliardi di Euro, o infine Scudo Fiscale, o infine i progetti come Grand Emprunt. Rifinanziare subito quindi una fascia più larga dei FIRB e dei PRIN è doveroso, con delle condizioni ex-post, mi pare ottima idea. Lei ritiene che Scienza in Rete, Accademie dei Lincei, i Rettori, i ricercatori, e il pubblico in generale accetterebbe la necessità di un dibattito di largo respiro su questi temi, ossia l'equivalente dello ScienceDebate2008.com, che ha visto Obama e McCain confrontarsi dopo i tagli alla ricerca di Bush, e portare con Obama un ministro all'Energia premio Nobel come Stephen Chu, che oggi sta facendo un piano sull'energia che fa un mix di iniziative non solo rinnovabili o nucleare, tanto per fare un esempio? Infine, sulla crisi drammatica delle università, aldilà delle polemiche, la spesa totale per le università italiane è paragonabile al patrimonio del solo MIT, che pure è sceso di 20% in borsa (proprio la percentuale dei tagli Gelmini a regime che porterebbero ovviamente al collasso). Tuttavia, si potrebbe proporre l’incremento dell’FFO a quelle Università che predispongano un “Piano Strategico”, triennale o quinquennale, di rilancio e risanamento, come fatto da MIT per esempio per recuperare $50-100Ml all’anno tra tagli alle spese e nuove entrate, come descritto in http://web.mit.edu/instituteplanning/ Lancerò presto quindi un sito www.sciencedebate.it, e spero Lei, insieme ad altri, si faranno portavoce di iniziare un dibattito su questi temi. La Sua proposta mi dà molte speranze di successo, perchè è, ripeto, geniale. Spostiamo il problema della valutazione in avanti, e per ora rilanciamo la Ricerca e l'Università Italiana, che è già forse condannata per la piccola dimensione che abbiamo, prima che sia troppo tardi, ora!
ritratto di pericle

Veramente sono anni che le votazioni sono sempre le solite, cioè quasi il massimo per i progetti accettati. E' evidente che o si conoscono e si possono intercettare i referee o non si viene finanziati. Valutare con 60/60 un progetto dovrebbe essere un evento eccezionale, quando si verifica troppo spesso il bias è macroscopico. Tutti lo sanno e tutti tacciono, Siamo in Italia. Meglio dare i soldi a pioggia, almeno si risparmia la pantomima delle valutazioni.
ritratto di Renzino l'Europeo

Mi dispiace, ma le valutazioni ex-ante dei progetti sono cosa diversa dalle valutazioni ex-post dei risultati. Ci sono finalità, usi, epistemologie diverse, e non possiamo pensare di cuocere un uovo sulla brace pensando di ottenere un uovo sodo. Abbiamo scritto qualcosa in merito alla peer-review dei progetti qui http://cronaca.anvur.it/2010/11/come-ti-vedo-e-rivedo-la-ricerca.html e ci ritorneremo sopra, ovviamente.
ritratto di Michele Ciavarella

Caro Prof. Carafoli, dopo quasi due anni di meditazione, ho trovato la soluzione a quanto proponeva lei con genialità. In effetti in Italia è inutile valutare le strutture. Quello che ci vorrebbe è un’iniziativa di Reclutamento di Eccellenza, come quella partita da un gruppo di ca.30 firmatari tra fellows Humboldt, Fulbright, vincitori di ERC e altre borse prestigiose. Almeno salviamo gli individui "virtuosi" ed "eccellenti", e non li lasciamo sfuggire, come abbiamo fatto con moltissimi vincitori di ERC, che portano anche soldi oltre cervello, all'estero. Considerando che molte delle cose che noi proponiamo nel documento sono forse già tardive (graduatorie progressive come nel concorso di magistratura, chiamate dirette superincentivate, incentivi diretti per chiamate dei migliori delle graduatorie, etc.), abbiamo deciso di accelerare la discussione del documento, e anche a livello internazionale. Sperando che il Presidente Monti, il Presidente Napolitano, e operativamente il Ministro Profumo non siano insensibili a questo appello TWO PROPOSALS TO FORWARD EXCELLENCE IN ITALY http://imechanica.org/node/11626 Con grande stima per lei professor Carafoli, che forse è stato il vero motore involontario della mia iniziativa. Saluti, Michele Ciavarella

Aggiungi un commento

Grazie, Obama!

Read time: 3 mins

E’ giunta al termine una Presidenza, quella di Barack Obama, che lascerà il segno negli USA. Un segno importante nella ricerca scientifica e nell’innovazione tecnologica, in un Paese che negli ultimi 80 anni è stato all’avanguardia nella scienza e nella tecnologia.

Durante i suoi due mandati alla Casa Bianca, Obama ha fortemente enfatizzato la visione della ricerca scientifica e dell’innovazione tecnologica come uno dei pilastri della leadership degli USA nel mondo. E ha effettuato, a sostegno, gesti significativi - come ricevere alla Casa Bianca Emily Whitehead, bimba di 6 anni guarita dalla leucemia grazie alle nuove terapie immunologiche - e scelte finanziarie anche coraggiose. Ad esempio, investendo miliardi di dollari per favorire la ricerca, attraverso finanziamenti competitivi, nel momento di più profonda crisi finanziaria. Andando, quindi, controtendenza.

Emily Whitehead, la bambina di 6 anni, guarita dalla leucemia grazie alle nuove terapie immunologiche, ricevuta alla casa Bianca da Obama. Di fianco, la... giustifica per l'assenza da scuola

Questa mia percezione è stata confermata anche da alcuni amici, membri della National Academy, che hanno avuto modo di incontrare l’ormai ex Presidente USA personalmente.

Vale la pena ricordare le ultime due iniziative di Obama in questi ambiti. La prima è la Medicina di Precisione, che Obama ha non solo indicato come frontiera, ma anche concretamente sostenuto. Si tratta di una visione della medicina che incrocia le caratteristiche genetiche dell’individuo, lo stile di vita e l’ambiente in cui vive, e che utilizza i progressi della genomica per identificare strategie preventive e terapeutiche più efficaci e personalizzate. Una sfida che richiede l’integrazione di competenze diverse - medici, medici-ricercatori, ricercatori preclinici, tecnologie avanzate - al servizio del paziente. La “Precision Medicine Initiative” di Obama, annunciata nel 2015, ha visto un investimento di 215 milioni di dollari nel 2016: nel giro di poco tempo, dunque, si è passati da un annuncio di visione all’implementazione di azioni a sostegno.

La seconda iniziativa è l’operazione “Moonshot”, balzo sulla luna, per accelerare la ricerca sul cancro e trovare nuove cure per questa malattia che rappresenta, appunto, la luna da conquistare grazie all’avanzamento delle conoscenze, significativo negli ultimi 30 anni, ad esempio nel settore dell’immunologia e immunoterapia. Al lancio del Cancer Moonshot, sono seguiti una serie di finanziamenti e di azioni concrete, guidate dal vicepresidente Joe Biden, mirate non solo a rendere disponibili per i pazienti nuove terapie, ma anche a migliorare la capacità di prevenire il cancro e diagnosticarlo in fase precoce. E’ stata inoltre creata una task force di esperti, composta da alcuni dei migliori cervelli degli USA, che ha indicato le nuove sfide del settore ed una serie di azioni da intraprendere per raggiungere l’obiettivo Cancer Moonshot.

L’eredità che lascia Obama, dunque, dal punto di vista della ricerca scientifica per la salute è un’eredità di visione e di scelte - coerenti per contenuto e tempistica - mirate a realizzarla concretamente. Ci auguriamo che le prossime amministrazioni negli USA continuino sulla stessa linea. Per il bene di tutti.

Questa riflessione sulle scelte della presidenza Obama non può non farci interrogare su quanto accade nel nostro Paese. L’orizzonte tracciato negli USA è quello in cui dobbiamo muoverci anche noi. Per ora, siamo purtroppo sostanzialmente fermi al palo, ma non è troppo tardi: abbiamo un patrimonio di risorse intellettuali e di passione, nei nostri giovani, che ci consentirebbe al di fare un “moonshot” sul cancro e, più in generale, sulla ricerca scientifica. Dobbiamo quindi raccogliere la sfida che Obama ha lanciato: visione, scelte e sostegno economico alla ricerca. Per il futuro del nostro Paese.

Pubblicato su La stampa il 15/1/2017.