Predatori e prede: quando la valutazione aiuta il “lato selvaggio” della scienza

Tempo di lettura: 4 mins

"Lince" di von Ludwig Beckmann. Crediti: Wikimedia Commons. Licenza: pubblico dominio

La primavera è alle porte quando Cobange, un biologo dell’Istituto Medico di Asmara, riceve un’email che contiene un’ottima notizia: un suo articolo sulle proprietà antitumorali di una sostanza chimica è stato accettato per essere pubblicato sul Journal of Natural Pharmaceuticals.
Sfortunatamente lo studio era chiaramente artefatto e Cobange non è mai esistito. Era il frutto della fantasia del giornalista scientifico John Bohannon che, qualche giorno prima, aveva inviato lo stesso testo a un centinaio di riviste, fra cui anche il Journal of Natural Pharmaceuticals.

Il suo esperimento è stato descritto in un articolo della rivista Science, questa volta firmato da Bohannon con il suo vero nome. Uno dei suoi obiettivi era testare l’affidabilità di una lista di riviste “potenzialmente, possibilmente o probabilmente” predatorie. Riviste cioè che millantano standard scientifici, ma che a pagamento pubblicano qualsiasi cosa. Secondo i risultati dell’esperimento, l’84% delle riviste contattate decise di pubblicare l’articolo artefatto senza richiedere alcuna modifica. Dunque la lista curata dal bibliotecario universitario Jeffrey Beall, nonostante le controversie che hanno portato alla sua chiusura, si è dimostrata piuttosto informativa.

Le riviste predatrici e i ricercatori prede

Ma perché occuparsi di riviste che, fino a qualche tempo fa, nessuno conosceva e che, probabilmente, hanno un ruolo assolutamente marginale nella diffusione della conoscenza all’interno della comunità scientifica? In primo luogo, articoli come quello di Cobange possono essere ripresi dalla stampa generalista e contribuire alla diffusione di fake news. In alcuni casi con conseguenze risibili, in altri più gravi.

Un secondo motivo per mettere sotto i riflettori le riviste predatorie risiede nel fatto che non sono scelte solo da ricercatori immaginari o truffaldini. Un nostro studio (disponibile anche in versione working paper) mostra che, su circa 46mila ricercatori e professori che nel 2012 hanno partecipato alla prima edizione dell’Abilitazione scientifica nazionale, il 5% vi ha pubblicato almeno un lavoro, per un totale di circa 6mila articoli. Nei dieci anni precedenti, la quota di articoli pubblicati su queste riviste è cresciuta significativamente. Ed è più alta nei settori scientifici dove solo recentemente è diventato importante pubblicare su riviste internazionali come l’economia aziendale, ma anche alcuni settori di medicina e di ingegneria applicata. Secondo le nostre analisi, i ricercatori che hanno maggiore probabilità di pubblicare su queste riviste sono maschi, lavorano in dipartimenti che hanno ottenuto un punteggio più basso nella Valutazione della Qualità della Ricerca e, soprattutto, sono più giovani inesperti. Per quanto si tratti di semplici correlazioni, l’inesperienza suggerisce che alcuni ricercatori possano essere prede inconsapevoli dell’editoria predatoria, mettendo a rischio sia loro reputazione sia quella delle loro ricerche.

La terza ragione per cui occuparsi del “lato selvaggio” della comunicazione scientifica, a nostro avviso la più importante, emerge dai risultati di un’indagine contenuta nel nostro studio: alcuni colleghi hanno inviato i loro articoli alle riviste predatorie nella speranza che potessero contare nelle valutazioni della ricerca. Uno di loro, per esempio, ci ha scritto:

Partecipai a una conferenza di quell’organizzazione e mi fu offerto di pubblicare velocemente il paper in una rivista (…). Avevo bisogno della pubblicazione per l’abilitazione e accettai di pubblicare nella rivista che mi proponevano. Mi sono pentito di quella scelta

In alcuni casi, quindi, sono gli incentivi perversi della valutazione a spingere le prede fra le braccia dei predatori.

L'importanza della valutazione

Ma come è possibile che le valutazioni accademiche assegnino valore positivo ad articoli che appaiono su riviste che “probabilmente” non hanno alcun valore? Esistono almeno due spiegazioni. La prima risiede nell’uso automatico di liste di riviste molto ampie considerate legittime. Per esempio, un quarto delle riviste predatorie individuate nel nostro studio è indicizzato in Scopus, una delle principali banche dati di riviste accademiche, spesso utilizzata come segno di qualità in alcune valutazioni scientifiche. Secondo la nostra indagine, invece, in almeno un terzo dei casi anche queste riviste (presenti sia in Scopus sia nella Lista di Beall) hanno utilizzato pratiche scorrette.

La seconda spiegazione è invece legata alle caratteristiche delle commissioni di valutazione. Sfruttando la variabilità della qualità accademica dei commissari generata dal sorteggio dell’Abilitazione, come se si trattasse di un esperimento naturale, abbiamo riscontrato che gli autori di pubblicazioni predatorie hanno maggiori probabilità di promozione quando la qualità della commissione è relativamente bassa.

In conclusione, le riviste predatorie sembrano la classica punta dell’iceberg di un problema più ampio che riguarda la valutazione della scienza: la presenza di importanti asimmetrie informative fra valutatori e valutati. L’utilizzo di segnali poco informativi sulla qualità delle pubblicazioni, come per esempio l’indicizzazione su Scopus o la mera presenza di un comitato editoriale internazionale, può condurre a risultati molto inefficienti. Per sconfiggere il lato selvaggio delle pubblicazioni scientifiche occorre invece coinvolgere nelle valutazioni professori e ricercatori in grado riconoscere la qualità della ricerca e limitare l’uso automatico di liste di riviste onnicomprensive. Alcuni cambiamenti ai quali sta lavorando il MIUR sembrano purtroppo andare nella direzione opposta e rendere il problema più grave.

 

altri articoli

Le notizie di scienza della settimana #107

Il nuovo Report dell’Ufficio europeo dell’Organizzazione mondiale della sanità “Healthy, prosperous lives for all: the European Health Equity Status Report” fa il punto sulle disuguaglianze di salute in Europa. In sintesi, il gap di salute fra ricchi e poveri si riduce meno dell’atteso. In termini di speranza di vita alla nascita, la differenza media è di 3,9 anni nelle donne (speranza di vita media 82 anni; intervallo: 78,1-86) e di 7,6 anni negli uomini (speranza di vita media 76,2 anni; intervallo: 3,4-15,5). L’Italia (e altri paesi come Grecia e Portogallo) ha i valori più alti di speranza di vita, segno che i fattori protettivi come dieta e coesione sociale riescono a contrastare i fattori di rischio e la presente stagnazione economica. Buona anche la performance dell’Italia nella sopravvivenza libera da malattie. Riconoscendo l’importanza di agire direttamente sui determinanti sociali della salute, l’OMS misura l’effetto di 8 politiche sulla riduzione delle differenze di salute fra classi sociali: (1) aumento di 1.000 dollari del PIL pro capite; (2) riduzione delle disuguaglianze di reddito; (3) riduzione del tasso di disoccupazione; (4) riduzione delle spese private per la salute; (5) aumento delle spese di protezione sociale; (6) aumento del finanziamento del sistema sanitario pubblico; (7) aumento della spesa pubblica in politiche del lavoro; (8) aumento della spesa pubblica nelle abitazioni e condizioni di vita. L’aumento del reddito pro capite è l’unico parametro a non avere effetto sulla disuguaglianze, mentre le politiche del lavoro e le condizioni di vita e abitative hanno l’effetto massimo.

Cronache della ricerca

Gli italiani si classificano terzi fra i vincitori degli starting grant dell’European Research Council, il bando più competitivo dell’Europa dedicato ai giovani ricercatori. Bene quindi per gli italiani (benché in discesa rispetto al bando 2018, dove si erano classificati secondi dietro la solita Germania). Male invece per l’Italia, che vede la maggior parte dei suoi ricercatori primeggiare in università e centri di ricerca all’estero.