Non vi è un consenso universale su come fare una peer review, il processo di revisione tra pari che porta alla scelta di rigettare, accettare o modificare un articolo scientifico. È l’intero mondo dell’editoria scientifica che si interroga su quale sia il possibile modo di migliorarne i processi.
Crediti immagine: Markus Winkler/Unsplash
Le pubblicazioni scientifiche sono fondamentali per la disseminazione delle conoscenze: il progresso e il consolidamento delle diverse discipline dipendono da queste. L’importanza dei paper scientifici risiede quindi nella loro capacità di veicolare un’informazione rilevante e corretta al giusto pubblico, che potrà a sua volta discuterla e divulgarla. Oltre a questa nobile componente, c’è un’altra ragione alla base delle pubblicazioni scientifiche: il fare carriera. Malgrado la loro centralità nella conoscenza e per la professione, molti autori imparano a scrivere i propri manoscritti da autodidatti, per tentativi ed errori. Questo perché nei curricula universitari spesso non c’è spazio per implementare le capacità di metodo nello sviluppo di un protocollo di ricerca e di scrittura scientifica dei risultati finali, ignorando le fasi sottese a un processo di pubblicazione di un articolo scientifico.
Il processo di peer review
La vita di un manoscritto inizia da uno studio condotto da un team di ricercatori, prende forma attraverso la stesura delle parole che lo hanno caratterizzato e spera di sopravvivere al varco della casella di posta elettronica di una rivista scientifica. Il processo di selezione editoriale prevede una prima verifica dei macro-contenuti del manoscritto e della loro aderenza alle linee guida per gli autori, edite dalla rivista stessa. Non è infrequente che i manoscritti non incontrino gli scopi della rivista o che vengano alla luce gravi inconsistenze metodologiche che portano a un rifiuto (rejection) già in questa primissima fase (desk rejection). Più del 60% dei manoscritti inviati a riviste scientifiche con alto impact factor ricevono un rifiuto a questo step.
Se l’articolo supera il primo screening, viene avviato al vero processo di revisione, conosciuto come peer review. I revisori sono esperti della materia, possiedono in linea teorica competenze specifiche per valutare l’oggetto dello studio proposto, molto simili a quelle dell’autore del paper. Sulla base della loro conoscenza ed esperienza i revisori valutano attentamente lo scopo dello studio, il razionale su cui poggia, i suoi punti di forza, i suoi limiti e, attraverso tale azione, contribuiscono alla decisione finale, in mano all’editore della rivista. Questo processo termina con una lettera prodotta dall’editore agli autori, dove vengono espressi i commenti in merito al paper ricevuto e la decisione se accettarlo, modificarlo o rigettarlo. Per molte riviste le lettere che terminano con una decisione negativa superano le lettere con un giudizio positivo. Il tasso di accettazione di una rivista prestigiosa come JAMA è del 10% su oltre 11.000 sottomissioni annuali e del 4% sugli oltre 6.000 documenti di ricerca ricevuti. I motivi di una rejection possono essere diversi, così come anche gli effetti che può produrre sul ricercatore. L’esperienza della revisione tra pari, spesso amara, può spingerci a chiudere definitivamente il nostro paper all’interno di un cassetto, senza che il lavoro venga messo in connessione con quello dei propri colleghi.
La via crucis
Molti però non si arrendono al primo rifiuto. In effetti circa tre manoscritti su quattro vengono poi pubblicati, su altre riviste, nei 5 anni successivi al primo rifiuto. In questa lunga finestra temporale, il manoscritto è probabilmente risottomesso altre volte a molteplici riviste, fino a che non incontra il giusto allineamento delle stelle venendo, infine, accettato. Questo approccio per tentativi è molto dispendioso non solo in termini temporali, ma anche di energie. E tutto questo ha origine nell’ineluttabile caratteristica ultima della peer review – quella di decidere le sorti di un articolo.
La peer review dolce
Pensate però quale potrebbe essere il vissuto di una peer review nella quale, per scelta iniziale, la sorte del manoscritto è quella di essere pubblicato. È quello che si è chiesto un gruppo di ricerca del Centro Interuniversitario in Ricerca Clinica, che ha deciso di organizzare un incontro in cui mantenere inalterati la robustezza e l’integrità del processo di peer review, ma il cui unico scopo diventava quello di migliorare i progetti o gli articoli proposti, senza avere voce sulla decisione editoriale. L’esperimento è cominciato invitando ricercatori italiani sui social media a inviare un proprio progetto, uno studio clinico o una revisione sistematica su qualunque argomento, per una valutazione indipendente. Delle 45 proposte inviate da medici, infermieri, fisioterapisti, dietisti e ingegneri biomedici, 15 sono passate alla vera e propria peer review fatta da esperti metodologi, statistici e clinici, che fanno parte del Centro Interuniversitario e hanno una lunga esperienza nel campo della peer review nazionale e internazionale.
La catarsi
La rimozione della scelta editoriale trasformava l’interazione tra autori e peer reviewer da una lotta corpo a corpo a una collaborazione senza conflittualità, interessata al miglioramento del prodotto finale senza un secondo fine. Una sorta di autoanalisi critica in cui si affrontavano sia grandi domande che aspetti più tecnici. Tra le grandi domande: «Ho risposto alla mia domanda di ricerca? Il mio razionale è solido?». Tra gli aspetti più tecnici: «Ho citato la letteratura che conta in merito all’argomento? Le mie analisi sono appropriate anche in termini statistici? Il paper è scritto secondo le tendenze di reporting correnti?». Questa modalità di revisione tra pari con carattere didattico aveva una forte finalità produttiva. Si è discusso quindi anche della rivista a cui presentare il lavoro, cercando di de-enfatizzare il ruolo di alcune metriche e privilegiando altri parametri (per esempio, diversificazione del portfolio delle riviste su cui si pubblica), che possono permettere un buon consolidamento del CV dei ricercatori, in particolare di quelli giovani.
Nuove forme di peer review
La nostra piccola esperienza si inserisce in un panorama più ampio. Un esempio di peer review “diversa” può essere quello condotto da Elsevier che, con le sue “speed review”, organizza 15 minuti di incontro tra editori e autori del manoscritto, dove quest’ultimi presentano il loro progetto e l’editore li indirizza su come e dove proseguire. Allargando lo sguardo, è l’intero mondo dell’editoria scientifica che si interroga su quale sia il possibile modo di migliorare i processi inerenti alla peer review. Il British Medical Journal (BMJ) riconosce che non esiste un esatto consensus universale su come fare una peer review. Si è appena concluso a Chicago il nono peer review congress, promosso dal BMJ, JAMA e il Meta-Research Innovation Center di Stanford (METRICS). Metodi e strategie in grado di migliorare la valutazione della conduzione, del reporting, dell’integrità e della disseminazione della ricerca scientifica e accademica attraggono oggi centinaia di interessati. La prima edizione di questo convegno avveniva nel 1989 e aveva assai meno iscritti, a segnare un’evoluzione della disciplina.
Quale finalità deve possedere la peer review?
Oggi non sappiamo quale missione della peer review sia preferibile: se fare solo selezione nella giungla delle pubblicazioni scientifiche o fungere da miglioramento continuo della ricerca senza mettere al bando. L’università è il luogo dove queste due visioni spesso si scontrano. Fornire una funzione di tutoraggio esperto affinché vengano individuati precocemente possibili errori sistematici, inadeguatezze, e fornire consigli per aumentare la validità interna, esterna e statistica di uno studio, è secondo noi il migliore futuro. Ogni anno vengono pubblicati una media di 2,5 milioni di articoli scientifici in più di 28.000 riviste in tutto il mondo. Il problema non è pubblicare ma farlo bene, se possibile anche attraverso interventi per migliorare il processo di peer review.
