Referaggio: garanzia di qualità o tirannia?

Read time: 5 mins

“Non ho più lacrime, dopo tutto quello che abbiamo fatto, a che serve tutto? A niente. E dove va la scienza? Il mio futuro dipende da questo lavoro, mi sento già senza forze... non voglio leggere, sarà domani”. 

Chi scrive è Carlos un giovane medico argentino, ciò che lui non ha il coraggio di leggere è la lettera dell’editor (da noi si dice direttore) di un grande giornale di medicina. Per capire bisogna conoscere le regole della scienza e quelle che governano le pubblicazioni scientifiche da cui però dipende tutto: carriera, soldi per poter lavorare, successo e molto d'altro.

Vediamo: finiti gli esperimenti si prepara un rapporto di quanto è stato fatto e si comincia a pensare al giornale che potrebbe essere interessato a pubblicare i tuoi dati. Ma i giornali non sono tutti uguali. Dei giornali di medicina Lancet pubblica il 6 percento dei lavori che riceve, New England Journal of Medicine poco più del 4 percento.

Ma come fanno i direttori dei giornali a decidere cosa accettare e cosa no? Per grandi giornali - Nature e Science per esempio e poi per la biologia e la medicina Cell, PNAS, JAMA - la prima decisione la fa il comitato editoriale. La metà dei lavori sottomessi non supera nemmeno questo primo vaglio. Quelli che resistono vengono mandati a esperti del settore, li chiamano "referee" proprio come gli arbitri del calcio. Sono loro che suggeriscono cosa si può pubblicare e cosa no. La chiamano revisione tra pari, chi oggi giudica domani è giudicato. E più si restringe il campo meno esperti ci sono che possano giudicare con cognizione di causa. In certi casi tutto si riduce a una decina di persone che rivedono l’uno il lavoro dell'altro. Più che tra pari è una revisione fra persone in competizione fra loro, protetti da un rigoroso anonimato. E’ un sistema  molto criticato, ma siccome nessuno ha saputo inventare niente di meglio si va avanti così.

Adesso però le cose potrebbero cambiare. Hidde Ploegh, un grande immunologo olandese che lavora al MIT di Boston ha avuto il coraggio di scrivere su Nature  quello che tutti pensano. Ploegh non ha dubbi: "Invece di entrare nel merito di quello che hanno davanti, i referee chiedono nuovi esperimenti che non servono quasi mai a cambiare la sostanza del lavoro". Per i giovani è un disastro, i nuovi esperimenti possono richiedere un anno di lavoro o anche di più; chi deve arrivare alla tesi di dottorato aspetta, chi è vicino a trovare un lavoro lo perde e ne va di mezzo  anche la carriera dei professori.

“Così non va, scrive Ploegh, dobbiamo istruire i referee a criticare quello che hanno di fronte e dare suggerimenti per migliorare, ma non a chiedere agli autori di fare un secondo lavoro”. C'è persino il rischio che ci sia qualcosa di perverso in questi comportamenti, anche i referee sono autori e anche a loro succede di incontrare qualcuno che gli chiede un sacco di lavoro  in più per niente. E allora perchè continuano a farlo? Mah, forse perché "così fan tutti" o per togliersi la soddisfazione di infliggere agli altri quello che hanno patito loro. E poi a pensar male si fa peccato… ma quando un revisore ci mette tre mesi per rispondere, poi ce ne vogliono altri tre per la revisione successiva e poi altre settimane ancora perché vuole cose che si era dimenticato di chiedere prima, il sospetto che sia qualcuno che ha interesse a far pubblicare il tuo lavoro il più tardi possibile è forte.

Così però si uccide la scienza e si fa un pessimo servizio agli ammalati. E gli editor dei giornali dove sono? Se c'è differenza di opinioni, invece di prendere loro una posizione mandano il lavoro ad altri referee,  e si arriva a quattro o cinque - dice Ploegh (anche  sei o sette dico io, ma come si fa a mettere d'accordo sei persone?). Quello che Ploegh non dice è che gli autori di solito si adeguano e per non rischiare che il lavoro venga rifiutato dopo anni di ricerche e di trattative fanno tutto quello che gli viene chiesto. La parola d'ordine è compiacere i referee , sempre e comunque: è quasi sempre tempo perso e soldi sprecati ma guai a dirlo.

Ploegh finisce con qualche suggerimento. I giornali dovrebbero pretendere che i referee quando chiedono nuovi esperimenti valutino anche i costi di quello che chiedono, e dovrebbero esserci  nel comitato editoriale esperti capaci di entrare nel merito delle richieste dei revisori per stabilire subito cosa è davvero necessario e cosa serve poco o nulla.

La settimana dopo Nature risponde con grande fair play: “Abbiamo tutti da imparare dalle accuse di Ploegh". Il direttore del Lancet nel numero in uscita ha scritto un editoriale a commento dell’articolo di Ploegh. Finisce così: “I direttori dei giornali devono avere il coraggio dei loro giudizi e decidere con meno esitazioni. Non si può più “flirt with authors, only to abandon them at the last moment, non lo si deve fare in amore, non va fatto nemmeno nella scienza. Ci si fanno nemici e basta”.

A Carlos, il ragazzo dell'inizio di questa storia sembrava essere andato tutto bene: tre referee di un grande giornale, tutti e tre favorevoli. Uno però vuole introdurre certe sofisticazioni statistiche, eleganti ma di poco interesse pratico. Sono sei mesi di lavoro senza che le conclusioni dello studio cambino di una virgola, ma il manoscritto è più elegante adesso. Carlos è raggiante. Ma ha fatto i conti senza l'oste (o meglio senza l'editor). Che si è molto compiaciuto del lavoro fatto, ma poi ha sentito altri referee, diversi da quelli di prima. La lettera che Carlos non voleva leggere subito dice: “Questo lavoro è bello, e anche importante per gli ammalati ma la statistica è troppo complicata, non lo possiamo proprio pubblicare, sorry".

Articolo pubblicato sul Corriere della Sera il 09/06/2011
L'articolo di Hidde Ploegh su Nature 
L'editoriale su Nature 
L'editoriale di Horton su Lancet

altri articoli

Ricerca e Innovazione, motori dell'Europa

A ridosso delle elezioni europee del 26 maggio, il sostegno alla ricerca scientifica non è in cima alla lista delle priorità dei candidati. Eppure, ricerca e innovazione sono il volano della crescita, e senza forti investimenti e chiare strategie l'Europa è destinata a soccombere nella dura competizione intenazionale nell'economia della conoscenza. Presentiamo qui il testo che Luca Moretti (CNR, Bruxelles) ha scritto per il Libro bianco del Gruppo 2003 "La riceca scientifica in Italia per una società sostenibile e sicura". il testo analizza le possibilità poste dal prossimo Programma quadro Horizon Europe. Si tratta di quasi 100 miliardi di euro per il 2021-2027, che rappresentano una scommessa esistenziale per l'Europa, per la quale si pone anche la sfida dell'uscita del Regno Unito e l'emergere dei sovranismi.