• newsletter
  • Chi siamo
  • Partner
  • Log in/Crea un account
  • English
  • Italiano
Home
  • Cerca
  • Documenti
  • Archivio
  • Indice
  • Blog
  • Topic
  • TV
  • @ Scuola
  • Innova
  • Scienza+20
Home » Scienza e società » Politica della ricerca

Valutazione della ricerca? No, grazie ...

  • Sociologia della scienza
  • 16729 letture
Bookmark/Search this post with
  • Facebook Like
  • Share on Facebook
  • Linkedin Share Button
  • Tweet Widget
  • Print Pdf
  • Print Mail
Ricerca

Leggendo il titolo qui sopra, gli amici che hanno letto quanto da un po’ vado dicendo e scrivendo penseranno che io sia andato fuori di testa. E allora chiedo scusa:  il titolo è paradossale: avrei dovuto scrivere, in realtà, no, grazie alla valutazione fatta in questo modo. Perché sono appena divenuti pubblici i risultati delle valutazioni dei PRIN, che sono la fonte principale di finanziamento della ricerca pubblica in Italia: risultati sbalorditivi, che mi hanno appunto spinto al titolo paradossale. I progetti presentati erano circa 4.000, e di questi quasi 1.000 sono stati ammessi al finanziamento: circa il 25%, quindi, cioè una percentuale molto generosa rispetto a quanto succede altrove. Il che ha comportato - giusta la regola del finanziamento a bagnafiori - tagli macroscopici dei finanziamenti ai singoli progetti, e l’attribuzione ad essi di somme frequentemente risibili. Ma il punto non è questo: ho disaggregato i dati, e ne è venuto fuori che il 27,9 % dei 986 progetti  finanziati ha ottenuto il punteggio di 60/60. Avete capito bene? Quasi un terzo dei progetti finanziati ha ottenuto il massimo punteggio! Ed i  59/60, 58/60, e 57/60 hanno dato percentuali virtualmente eguali ai 60/60! Di più: i 58-59-60/60  sono stati circa il 20% di tutti i progetti PRESENTATI! Perbacco, si dirà, che meraviglia, che successo strepitoso, siamo proprio un popolo di geni! Altro che America, Inghilterra, Svizzera, eccetera. Ma di che si lamentano tutte queste cornacchie? Bene, ecco di cosa si lamentano:  del fatto che  queste percentuali simil-bulgare sono una burla o una truffa. In entrambi i casi, per parlar chiaro, ci dicono  che la valutazione - questa valutazione - è stata un fallimento totale. Ma avete capito che cosa è successo?  E’ successo che la inesauribile inventiva italica  - ma ti pareva -  ha escogitato un modo semplice, indolore, e molto astuto di annullare la valutazione, attribuendo a tutti votazioni pindariche. E praticamente tutti i valutatori, come si è visto, hanno seguito questa regola, tutti  meno i pochissimi  sprovveduti  - quorum ego -  che hanno attribuito a buoni progetti il voto che pareva altissimo di 56/60  solo per vederli respingere... . Per non parlare delle telefonate tra i co-valutatori (so di cosa parlo)  per accordarsi, obtorto collo magari, su un 60/60, “perché altrimenti il progetto non passa”.

Chiaro, chiarissimo, che qui da noi manca la cultura della valutazione. Chiaro anche che, altisonanti proclami a parte, non si riesce proprio ad introdurla.  Avete presente  la storia del Re Mida, che trasformava in oro tutto quello che toccava ? Ecco, qui da noi la storia del Re Mida funziona a rovescio: tutte le cose ben fatte che tocchiamo, oro quindi, si trasformano in... non voglio completare la metafora. Non è questa la sede per cercare di capire perché sia così: io penso, e l’ho anche scritto, che un ruolo importante abbia la nostra educazione cattolica, basata, come si sa, sul concetto di raccomandazione. Ma, di nuovo, non è questo il punto: il punto è che occorre proporre qualcosa, ed è tutt’altro che facile. Si potrebbe ad esempio pensare - per favore non ridete - ad un finanziamento per sorteggio. Che non sarebbe forse peggio della valutazione che abbiamo appena subito, ma che comporterebbe un rischio troppo alto di imbrogli. Eppoi, figuriamoci, si direbbe subito che non è una cosa seria. E allora, e qui non sto proprio scherzando, a me sembra che la cosa migliore, forse la sola fattibile, sia attribuire i finanziamenti senza valutazione ex ante, o con una minima valutazione ex ante, sulla base dell’attività precedente, e dei risultati precedenti, del richiedente. O, nel caso dei novizi, sulla base di una rapida lettura del progetto. Come se si dicesse : toh, eccoti i fondi, mostraci quello che sai fare. Ma  questo è IL PUNTO: dopo tre anni il tizio, o la tizia, saranno valutati per quello che hanno fatto. Ex post, quindi, espressione magica che, come si sa, in Italia non ha cittadinanza. Se trovati scarsi, andranno a fare (metaforicamente) il muratore o la badante. Ah, ah, qui casca l’asino, sento già dire, avremo di nuovo le solite raffiche di valutazioni stellari. Eh, no, qui non casca proprio nessun asino, perché la valutazione ex post dovrà essere affidata, almeno fintantochè non avremo imparato, a Commissioni rigorosamente straniere. E qui sento già altissimi lai, anche da amici che stimo: ma come, ma è umiliante, ma noi chi siamo.... Siamo come siamo: non che gli stranieri siano tutti unti dal Signore, non vivo nel mondo di Peter Pan: ma hanno un’educazione diversa (ecco che qui viene in ballo l’educazione protestante), ed il concetto di meritocrazia gli è oramai entrato nel DNA (a proposito, che fine ha fatto l’ANVUR ? Lì gli stranieri erano previsti, eccome!). Quindi, rassegniamoci.

Vabbè, diciamo che volevo provocare. Però, però...  

9 marzo, 2010 da Ernesto Carafoli


Commenti

Disclaimer

Chiediamo ai lettori, per rispetto di chi legge, di scrivere come di prassi in minuscolo. Il tuo commento verrà pubblicato solo dopo l'approvazione da parte della Redazione. Non verranno pubblicati commenti che violano le leggi sulla stampa, diffamatori, offensivi o che chiamano in causa terze persone per fatti non accertati. Non saranno pubblicati messaggi fuori tema o pretestuosi, o scritti con linguaggio non adeguato o irrispettoso per i lettori.

Condizioni generali del servizio

Chi invia un commento o si registra al sito sottoscrive le condizioni generali di contratto. Facendo ciò l'Utente si è assunto ogni più ampie responsabilità civile, penale e amministrativa relativa all'invio e alla pubblicazione del materiale trasmesso garantendo ogni più ampia manleva. L'utente riconosce a Scienza in rete e/o ai suoi aventi causa il diritto di conservare, riprodurre, diffondere e cancellare il materiale trasmesso. L’utente dichiara e garantisce il pacifico godimento di tutti i diritti relativi al materiale inviato. Pertanto, con l'invio del materiale, l'Utente cede e trasferisce a titolo gratuito e definitivo, senza limiti di spazio e di tempo, tutti i diritti di sfruttamento economico e commerciale relativi al materiale inviato.

#1 A me la Sua proposta pare geniale!

ritratto di Michele Ciavarella
10 marzo, 2010 - 20:09 da Michele Ciavarella
Caro Prof. Carafoli, a me pare che Lei con la Sua provocazione abbia in reatà avuto un'idea geniale. Il problema che Lei solleva è ancora più serio nel caso dei progetti FIRB-Futuro in Ricerca, per cui sono pervenuti 3 miliardi di euro di richeiste di progetti, ma solo 50 milioni finanziati, anzi forse ora si parla di 96, si veda RICERCA - LA FUGA DEI CERVELLI "Per un punto il giovane se ne andò all'estero di Fabio Beltram, il Sole 24 ore, 30/1/2010". Lo ha letto? E' molto simile alla Sua analisi dei PRIN, ma persino molto peggio: " Le proposte non sono mancate, quasi 4mila, confermando la drammatica sproporzione tra risorse disponibili (50 milioni) e richieste….. Sotto la pressione della difficile scelta (e non solo di quella) il Comitato Firb entra in fibrillazione e il presidente arriva alle dimissioni: nulla succede per dare le risposte rapide e rigorose attese dai giovani proponenti. Monta quindi la protesta per il ritardo e sull'onda del "fare presto" le regole della selezione vengono, ahimé, "semplificate". Scompaiono quasi completamente gli stranieri, e valutatori quasi tutti italiani (in moltissimi casi, un solo valutatore) giudicano le proposte. In questi giorni sono stati ammessi a un'audizione a partire dal mese di febbraio un totale di 204 progetti. Il 95% circa delle proposte, ovvero 3.588, è stato scartato in base alla sola votazione numerica attribuita, senza alcuna valutazione comparativa, senza un disegno equilibrato tra le diverse aree scientifiche, senza alcuna reale possibilità di capire il ruolo effettivo del proponente. L'esempio delle procedure seguite per gli Starting Grant di Erc o gli altri progetti europei non è stato considerato." Ho sentito dire da alcuni Rettori, non so chi è la fonte originale, che la valutazione in Italia sarebbe una "sindrome di Bertoldo", dal nome del contadino furbo che, condannato dal principe, chiede di poter "almeno" scegliere la pianta su cui impiccarsi, salvo mettersi subito a cercarne una talmente bassa da non fargli nemmeno un graffio. Messa sul serio, oggi la crisi finanziaria internazionale, sta mettendo in ginocchio il settore privato (prima ancora che il pubblico) i cui ricercatori, sono “nuovo esercito di disoccupati” (vedasi due articoli del CorSera del Glaxo, o i 26 gruppi industriali ad alta tecnologia in crisi dal Piemonte alla Campania nonostante 1.5miliardi di Euro investiti). Probabilmente, manca una visione strategica e una dimensione perlomeno Europea per potersi confrontare non solo con gli USA, ma anche con l’emergere delle Tigri Asiatiche. Inoltre, su questi temi fondamentali, non si riesce ad avere in Italia una politica di largo respiro, bipartisan, strategica. Mentre noi da troppo tempo ci siamo arenati a parlare del "nodo" valutazione, il mondo ha fatto piani "stimulus" alla ricerca di decine di miliardi, già operativi. Obama lo ha fatto nel febbraio 2009 allargando il finanziamento ai progetti già valutati (probabilmente meglio dei nostri) ma non entrati nella fascia finanziabile (si veda www.recovery.gov), la Germania ha fatto un piano decennale di Eccellenza e la Francia un Grand Emprunt da 30 miliardi, con fondi in parte privati! Tutte notizie riportate su questa rivista. Ora, noi abbiamo fatto un ottimo tentativo nel lasciar valutare a NIH alcuni progetti per iniziativa del Min.Fazio, ma non si può pensare di affogare di progetti italiani la valutazione USA, anche perchè il progetto Stimulus di Obama ha iniettato tanti soldi da affogare persino la valutazione USA! Invece la Sua idea corrisponde abbastanza con quella che sto tentando di portare avanti io (si vedano vari appelli sul "Manuale del Rettore Virtuoso", http://rettorevirtuoso.blogspot.com), di fare un piano "stimulus" italiano, facendo una ricognizione di fondi disponibili, qualcuno dice per esempio che l'Istituto Italiano della Tecnologia potrebbe avere disponibilità di cassa, o fondi europei che noi non riusciamo mai a far rientrare per decine di miliardi di Euro, o infine Scudo Fiscale, o infine i progetti come Grand Emprunt. Rifinanziare subito quindi una fascia più larga dei FIRB e dei PRIN è doveroso, con delle condizioni ex-post, mi pare ottima idea. Lei ritiene che Scienza in Rete, Accademie dei Lincei, i Rettori, i ricercatori, e il pubblico in generale accetterebbe la necessità di un dibattito di largo respiro su questi temi, ossia l'equivalente dello ScienceDebate2008.com, che ha visto Obama e McCain confrontarsi dopo i tagli alla ricerca di Bush, e portare con Obama un ministro all'Energia premio Nobel come Stephen Chu, che oggi sta facendo un piano sull'energia che fa un mix di iniziative non solo rinnovabili o nucleare, tanto per fare un esempio? Infine, sulla crisi drammatica delle università, aldilà delle polemiche, la spesa totale per le università italiane è paragonabile al patrimonio del solo MIT, che pure è sceso di 20% in borsa (proprio la percentuale dei tagli Gelmini a regime che porterebbero ovviamente al collasso). Tuttavia, si potrebbe proporre l’incremento dell’FFO a quelle Università che predispongano un “Piano Strategico”, triennale o quinquennale, di rilancio e risanamento, come fatto da MIT per esempio per recuperare $50-100Ml all’anno tra tagli alle spese e nuove entrate, come descritto in http://web.mit.edu/instituteplanning/ Lancerò presto quindi un sito www.sciencedebate.it, e spero Lei, insieme ad altri, si faranno portavoce di iniziare un dibattito su questi temi. La Sua proposta mi dà molte speranze di successo, perchè è, ripeto, geniale. Spostiamo il problema della valutazione in avanti, e per ora rilanciamo la Ricerca e l'Università Italiana, che è già forse condannata per la piccola dimensione che abbiamo, prima che sia troppo tardi, ora!
  • rispondi

#2 PRIN

ritratto di pericle
12 marzo, 2010 - 17:15 da pericle
Veramente sono anni che le votazioni sono sempre le solite, cioè quasi il massimo per i progetti accettati. E' evidente che o si conoscono e si possono intercettare i referee o non si viene finanziati. Valutare con 60/60 un progetto dovrebbe essere un evento eccezionale, quando si verifica troppo spesso il bias è macroscopico. Tutti lo sanno e tutti tacciono, Siamo in Italia. Meglio dare i soldi a pioggia, almeno si risparmia la pantomima delle valutazioni.
  • rispondi

#3 No al "cupio dissolvi"

ritratto di Renzino l'Europeo
15 novembre, 2010 - 18:13 da Renzino l'Europeo
Mi dispiace, ma le valutazioni ex-ante dei progetti sono cosa diversa dalle valutazioni ex-post dei risultati. Ci sono finalità, usi, epistemologie diverse, e non possiamo pensare di cuocere un uovo sulla brace pensando di ottenere un uovo sodo. Abbiamo scritto qualcosa in merito alla peer-review dei progetti qui http://cronaca.anvur.it/2010/11/come-ti-vedo-e-rivedo-la-ricerca.html e ci ritorneremo sopra, ovviamente.
  • rispondi

#4 Dopo 2 anni di maturazione, ho trovato delle proposte!

ritratto di Michele Ciavarella
26 dicembre, 2011 - 12:58 da Michele Ciavarella
Caro Prof. Carafoli, dopo quasi due anni di meditazione, ho trovato la soluzione a quanto proponeva lei con genialità. In effetti in Italia è inutile valutare le strutture. Quello che ci vorrebbe è un’iniziativa di Reclutamento di Eccellenza, come quella partita da un gruppo di ca.30 firmatari tra fellows Humboldt, Fulbright, vincitori di ERC e altre borse prestigiose. Almeno salviamo gli individui "virtuosi" ed "eccellenti", e non li lasciamo sfuggire, come abbiamo fatto con moltissimi vincitori di ERC, che portano anche soldi oltre cervello, all'estero. Considerando che molte delle cose che noi proponiamo nel documento sono forse già tardive (graduatorie progressive come nel concorso di magistratura, chiamate dirette superincentivate, incentivi diretti per chiamate dei migliori delle graduatorie, etc.), abbiamo deciso di accelerare la discussione del documento, e anche a livello internazionale. Sperando che il Presidente Monti, il Presidente Napolitano, e operativamente il Ministro Profumo non siano insensibili a questo appello TWO PROPOSALS TO FORWARD EXCELLENCE IN ITALY http://imechanica.org/node/11626 Con grande stima per lei professor Carafoli, che forse è stato il vero motore involontario della mia iniziativa. Saluti, Michele Ciavarella
  • rispondi

Invia nuovo commento

Image CAPTCHA
Digita i caratteri visualizzati nell’immagine. Non c’è distinzione tra maiuscole e minuscole.

Se ti è piaciuto questo articolo aiuta Scienza in rete a crescere ancora, leggi come.

Ernesto Carafoli
ritratto di Ernesto Carafoli
Biologia e biochimica
Università di Padova

Più letti

  • Oggi
  • Settimana
  • Mese
  • Anno
  • Mappa del rischio sismico (257)
  • Arriva la "slow medicine" (218)
  • Tutto o quasi sui terremoti Italiani con l'app dell'INGV (115)
  • Consumo di suolo, emergenza italiana (115)
  • E' presto per curare col bisturi diabete e ipertensione (90)
  • Consumo di suolo, emergenza italiana (542)
  • Ppt in un tap (forse qualcuno di più) su iPad (313)
  • Astrofisica da Nobel, 8 riconoscimenti in 50 anni (291)
  • Mappa del rischio sismico (257)
  • Nucleare iraniano, la diplomazia unica opzione praticabile (254)
  • Cannabis: perché ora è pericolosa (2,633)
  • Che cosa vale una laurea? Finalmente se ne discute (1,440)
  • Alba, Luna e Mercurio (1,299)
  • Homo immortalis. Una vita quasi infinita (1,011)
  • Alla scoperta di luce e colori (898)
  • Quando l'inquinamento industriale accorcia la vita (7,120)
  • La ricerca italiana non sta tanto male nel mondo (6,232)
  • Tasse universitarie: fatti, miti e ideologia (5,235)
  • I laboratori del Gran Sasso (4,857)
  • La lingua dei segni (4,195)

Pubblicati di recente

  • Articoli
  • Grafici
  • Immagini
  • Video
  • La sindrome del Salto di Quirra 23 Maggio 2012
  • Arriva la "slow medicine" 22 Maggio 2012
  • La preparazione del documento per Rio+20 21 Maggio 2012
  • Ppt in un tap (forse qualcuno di più) su iPad 18 Maggio 2012
  • Nucleare iraniano, la diplomazia unica opzione praticabile 18 Maggio 2012
  • Pericolosità sismica di riferimento per il territorio nazionale
  • Frane e inondazioni in Italia
  • uragani
  • See video
  • See video
  • See video
  • See video

Campi del sapere

  • Campi del sapere
    • Scienze della vita
    • Scienze della Terra
    • Fisica
    • Matematica
    • Economia
    • Chimica
    • Scienze umane
    • Tecnologia
    • Ambiente & sanità

Scienza e società

  • Scienza e società
    • Politica della ricerca
    • Filosofia della scienza
    • Storia della scienza
    • Etica e scienza
    • Scienza e pace
    • Arte e scienza
    • Innovazione e impresa
    • Università

Scuola

  • Scuola
    • Primaria
    • Secondaria
    • Educazione informale
    • Scuolabook

Rubriche

  • Editoriale
  • App4Scientist
  • Breaking news
  • Janus
  • Monitor
  • Osservatorio sulla ricerca
  • Pro e contro
  • Recensioni
  • Segnali
  • Vero o falso?
  • 150 scienziati d'Italia
  • In agenda

Documenti

  • Grafici
  • Immagini
  • Video
  • Slide
  • Autori
  • Pubblicazioni
  • Rassegna stampa
  • Biblioteca

Partner del progetto

Siti amici

  • eurodesk   
    issnaf

Master

  • macsis   
    mcs

Copyleft

Crediti

  • Ambiente
  • Astronomia
  • Biologia
  • Chimica
  • Fisica
  • Medicina
  • Politica della Ricerca
  • Scienze matematiche, fisiche e naturali
  • Scienze sociali
  • Tecnologia e scienze applicate

Icons by Axialis Team