Se non ci sono risultati non si pubblica. E non è un bene

Tempo di lettura: 3 mins

Quando un esperimento non riesce a produrre un effetto interessante, i ricercatori spesso accantonano i dati, specie nel campo delle scienze sociali. Ma se mancano i risultati negativi si distorce la letteratura scientifica, con grave danno per la scienza. Questo è il quadro preoccupante descritto recentemente da Nature, in seguito alla pubblicazione su Science di uno studio da parte di alcuni ricercatori della Stanford University della California.

Gli autori Franco, Malhotra e Simonovits hanno analizzato i dati provenienti dal Time-sharing Experiments for the Social Sciences (Tess), una piattaforma che permette di realizzare esperimenti di scienze sociali attraverso un programma di sondaggi online finanziato dalla National Science Foundation americana.
Il risultato è stato che su 221 studi sociologici condotti tra il 2002 e il 2012, solo il 48% dei progetti iniziati erano stati completati.

Cos’era successo? Per scoprirlo, i ricercatori hanno contattato direttamente gli autori delle ricerche. È così emerso che il motivo di abbandono era la mancanza di risultati. Qui andrebbe aperta una doverosa parentesi che riguarda i risultati positivi, cioè le conferme. Riprodurre un risultato, e quindi verificarlo, è molto importante, tuttavia raramente avviene: gli studi da replicare sono tantissimi, i fondi sono pochi e raramente vengono considerati di interesse dalle riviste di spessore. Se invece un risultato è negativo, nel senso che smentisce una ricerca precedente, si è portati a pensare che sia frutto di un errore, col rischio di perdere la reputazione di fronte ai colleghi. O peggio, non lo si vuole pubblicare per nascondere un tentativo fallito di replica.

E quando non ci sono proprio risultati? Lo studio di Franco e colleghi ha portato alla luce dei fatti inquietanti. Innanzitutto, senza risultati la probabilità di pubblicazione del lavoro scendeva dal 60% al 20% e questo perché per una rivista la frase “non ho trovato niente” non è per nulla interessante. Ma quello che fa scalpore è che il 65% dei lavori nemmeno veniva scritto, perché erano gli stessi scienziati a interrompere gli studi. Inutile, secondo molti, continuare a dedicare tempo, lavoro e denaro in qualcosa che non interesserebbe mai alle riviste scientifiche. Inutile perché un risultato negativo, in fondo, non è sufficientemente interessante. O forse no?

Come affermano Franco e colleghi, tutti i risultati vanno pubblicati, perché così si evita che qualcun altro rifaccia gli stessi esperimenti e perché rende meno ossessiva la ricerca del risultato positivo per sperare nella pubblicazione.
I risultati sono stati giudicati da molti come ovvi e scontati, ma secondo Daniele Fanelli, biologo evoluzionista e visiting professor presso l'Università di Montreal in Canada, "è molto probabile che questo studio sottovaluti la reale portata del problema".
Non a caso da anni si sta cercando di far fronte a questo bias di pubblicazione, mettendo a punto  nuove strategie ad esempio per rendere più trasparenti la realizzazione e validazione degli studi.
Una delle proposte più interessanti riguarda la realizzazione di un portale, dove poter riporre tutti i lavori che non danno i risultati sperati. Un luogo virtuale accessibile a tutti gli scienziati, in modo da poter ottenere informazioni potenzialmente utili per fare gli esperimenti. Come Figshare: una raccolta dei dati grezzi di tutti gli studi scartati dalla pubblicazione per la loro apparente inutilità.

Questo studio non dice nulla di nuovo, in realtà. Eppure ci è utile per capire lo stato di “salute” della ricerca, nella speranza che con queste informazioni si possa trovare la ricetta per arginare il problema. 

altri articoli

COP25: verso i 3,2 gradi di aumento. Perché la politica fallisce?

cancello della IFEMA conventions center, Madrid, Spain, sede della COP25. December 2, 2019. [Photo/Agencies]

COP25 sembra sostanzialmente fallita sul piano delle decisioni poltiche. Alcune parole d’ordine degli eventi paralleli che avrebbero potuto influire sullo stile della politica non sono filtrate a livello delle negoziazioni: elevare il livello di ambizione; affrontare il problema con flessibilità, capacità di risposta e senso di responsibilità; coniugare innovazione tecnologica e “advocacy” (impegno). Hanno prevalso gli egoismi nazionali secondo il classico scenario della "tragedy of the commons", la tragedia dei beni comuni che sembrano non appartenere a nessuno. Immagine: cancello della IFEMA conventions center, Madrid, Spain, sede della COP25. December 2, 2019. [Photo/Agencies]

Il Pianeta mi ricorda un malato grave che viene affidato da un ottimo diagnosta a un’equipe di chirurghi litigiosi, invidiosi e pasticcioni. COP25 sembra sostanzialmente fallita sul piano delle decisioni poltiche, con la notevole eccezione del Green Deal di Ursula von der Leyen e di Frans Timmermans, che però è esterno e indipendente dalla negoziazione.