fbpx Valutazione, anche gli Usa piangono | Scienza in rete

Valutazione, anche gli Usa piangono

Tempo di lettura: 3 mins

Valutare la ricerca non è facile. Neppure negli Stati Uniti, paese considerato all’avanguardia nel settore. Neppure per gli US National Institutes of Health (NIH), che hanno un sistema di valutazione considerato un modello. Solo una piccola parte dei progetti selezionati dall’agenzia federale americana si dimostra, infatti, eccellente. E solo una minima parte dei progetti americani eccellenti hanno superato il sistema di valutazione NIH.

È questa la conclusione del rapporto che Joshua M. Nicholson, ricercatore del Department of Biological Sciences del Virginia Tech di Blacksburg in Virginia, e  John P. A. Ioannidis, dello Stanford Prevention Research Center di Stanford in California, hanno di recente pubblicato su Nature. I National Institutes of Health degli Stati Uniti, ricordano i due, son il maggior singolo finanziatore al mondo di ricerca biomedica. Con il suo sofisticato sistema di valutazione mediante peer review, tra il 2002 e il 2011, l’agenzia federale ha promosso ben 460.000 progetti di ricerca, finanziandoli con qualcosa come 200 miliardi di dollari (una cifra pari a quella investita dall’Italia per tutta la ricerca scientifica, pubblica e privata).

Con quali risultati qualitativi?

La domanda non ammette risposte semplici, perché la qualità non è facilmente definibile e, tantomeno, misurabile. I due ricercatori hanno tentato comunque di farlo, pur conoscendo i limiti del metodo. In definitiva, hanno preso in esame i 1.380 articoli scientifici highly citated, sui 20 milioni pubblicati nel mondo tra il 2001 e il 2012 classificati nel database di Scopus. Gli articoli highly citated sono quelli che hanno ricevuto oltre 1.000 citazioni. Difficile dire se siano gli articoli migliori, certo sono gli articoli più influenti. Tra quei 1.380, ben 700 articoli sono classificati come biomedici e hanno almeno un autore affiliato a un istituto di ricerca degli Stati Uniti. I 700 articoli hanno 1.172 autori che figurano come primo o ultimo firmatario, o addirittura come autore singolo. Troppi, per essere analizzati compitamente. Cosicché Nicholson e Ioannidis, tra quei 700 articoli, hanno ne hanno selezionato a caso 158, per un totale di 262 “autori eleggibili”: ovvero autori afferanti a istituti americani, primi o ultimi (o singoli) firmatari. Ebbene solo 104 tra loro, il 39,7% del totale, hanno la ricerca “altamente citata” con fondi NIH. Ben 158 autori “altamente citati” americani, pari al 60,3% del totale, hanno svolto le loro ricerche altamente influenti con fondi diversi da quelli erogati dall’NIH. Qualsiasi sia la ragione, la parte prevalente della ricerca di punta americana in campo biomedico non è finanziata con i fondi pubblici degli NIH. Di conseguenza, l’influenza degli stessi NIH sulla ricerca di punta biomedica va leggermente ridimensionata.

Ma c’è di più. Tra i 1.172 autori americani “altamente citati” in campo biomedico solo 72 (il 6%) fanno parte del gruppo di studio che assegna i fondi NIH. Ma il gruppo di studio degli NIH è formato da 8.517 membri. Il che significa che solo lo 0,8% dei ricercatori che assegna fondi NIH è un ricercatore “altamente citato” e “influente”. Tutto questo – rilevano Nicholson e Ioannidis – contrasta alquanto con la missione assegnata ai National Institutes of Health: utilizzare i migliori ricercatori per finanziare i migliori progetti. Né la prima né la seconda parte dell’assunto viene rispettata.

Perché? Difficile dirlo, visto che finora il metodo di assegnazione dei grants da parte degli NIH era considerato tra i migliori al mondo. La verità è, probabilmente, che ogni sistema ha i suoi difetti. E che ogni sistema su vasta scala finisce per promuovere i progetti di ricerca che rientrano in quella che Thomas Khun – a proposito, sono 50 anni dalla pubblicazione del suo fondamentale The Structure of Scientific Revolutions – chiamava “la scienza normale” e che noi, più modestamente, potremmo definire più conformisti. Moda che prevale, inevitabilmente (?), anche nella selezione dei selezionatori.

Se Nicholson e Ioannidis hanno ragione, la loro analisi dimostra, ancora una volta, che occorre riflettere più a fondo su come si giudica la qualità nell’era della ricerca caratterizzata dalla quantità (di risorse, di ricercatori, di output).

Iscriviti alla newsletter

Le notizie di scienza della settimana

 

No spam, potrai cancellare la tua iscrizione in qualsiasi momento con un click.

 

altri articoli

Organi su un chip e sensori sul (e nel) corpo: il ruolo dallo studio all’approvazione di nuove terapie

Dati fisiologici o comportamentali  misurati attraverso dispositivi che possono essere portatili, indossabili, impiantabili o digeribili, ossia i biomarcatori digitali, e gli organi o tessuti “on a chip”, micro-dispositivi progettati per supportare tessuti e cellule viventi, imitando in vitro la fisiologia umana e le malattie, sono due tra gli strumenti più promettenti per il supporto agli studi clinici e preclinici: in questo articolo, Michela Moretti esplora le loro potenzialità e attuali limiti.

Crediti immagine: National Center for Advancing Translational Sciences/Flickr. Licenza: dominio pubblico

La pandemia di Covid 19 ha dato una svolta al dibattito sui percorsi per accelerare i tempi della ricerca e l’approvazione di nuove terapie, in particolare quelle che riguardano patologie ancora senza cura. Pur rimanendo prioritaria la necessità di fornire garanzie di sicurezza ed efficacia di un farmaco, è sempre più condivisa la volontà di trovare soluzioni che velocizzino tali iter. Gli sforzi delle istituzioni e degli enti regolatori – non senza difficoltà - per fornire indicazioni più precise, direttive certe e meno burocrazia sono stati e sono ancora numerosi.