Quando un esperimento non riesce a produrre un effetto interessante, i ricercatori spesso accantonano i dati, specie nel campo delle scienze sociali. Ma se mancano i risultati negativi si distorce la letteratura scientifica, con grave danno per la scienza. Questo è il quadro preoccupante descritto recentemente da Nature, in seguito alla pubblicazione su Science di uno studio da parte di alcuni ricercatori della Stanford University della California.

Gli autori Franco, Malhotra e Simonovits hanno analizzato i dati provenienti dal Time-sharing Experiments for the Social Sciences (Tess), una piattaforma che permette di realizzare esperimenti di scienze sociali attraverso un programma di sondaggi online finanziato dalla National Science Foundation americana.
Il risultato è stato che su 221 studi sociologici condotti tra il 2002 e il 2012, solo il 48% dei progetti iniziati erano stati completati.

Cos’era successo? Per scoprirlo, i ricercatori hanno contattato direttamente gli autori delle ricerche. È così emerso che il motivo di abbandono era la mancanza di risultati. Qui andrebbe aperta una doverosa parentesi che riguarda i risultati positivi, cioè le conferme. Riprodurre un risultato, e quindi verificarlo, è molto importante, tuttavia raramente avviene: gli studi da replicare sono tantissimi, i fondi sono pochi e raramente vengono considerati di interesse dalle riviste di spessore. Se invece un risultato è negativo, nel senso che smentisce una ricerca precedente, si è portati a pensare che sia frutto di un errore, col rischio di perdere la reputazione di fronte ai colleghi. O peggio, non lo si vuole pubblicare per nascondere un tentativo fallito di replica.

E quando non ci sono proprio risultati? Lo studio di Franco e colleghi ha portato alla luce dei fatti inquietanti. Innanzitutto, senza risultati la probabilità di pubblicazione del lavoro scendeva dal 60% al 20% e questo perché per una rivista la frase “non ho trovato niente” non è per nulla interessante. Ma quello che fa scalpore è che il 65% dei lavori nemmeno veniva scritto, perché erano gli stessi scienziati a interrompere gli studi. Inutile, secondo molti, continuare a dedicare tempo, lavoro e denaro in qualcosa che non interesserebbe mai alle riviste scientifiche. Inutile perché un risultato negativo, in fondo, non è sufficientemente interessante. O forse no?

Come affermano Franco e colleghi, tutti i risultati vanno pubblicati, perché così si evita che qualcun altro rifaccia gli stessi esperimenti e perché rende meno ossessiva la ricerca del risultato positivo per sperare nella pubblicazione.
I risultati sono stati giudicati da molti come ovvi e scontati, ma secondo Daniele Fanelli, biologo evoluzionista e visiting professor presso l'Università di Montreal in Canada, "è molto probabile che questo studio sottovaluti la reale portata del problema".
Non a caso da anni si sta cercando di far fronte a questo bias di pubblicazione, mettendo a punto  nuove strategie ad esempio per rendere più trasparenti la realizzazione e validazione degli studi.
Una delle proposte più interessanti riguarda la realizzazione di un portale, dove poter riporre tutti i lavori che non danno i risultati sperati. Un luogo virtuale accessibile a tutti gli scienziati, in modo da poter ottenere informazioni potenzialmente utili per fare gli esperimenti. Come Figshare: una raccolta dei dati grezzi di tutti gli studi scartati dalla pubblicazione per la loro apparente inutilità.

Questo studio non dice nulla di nuovo, in realtà. Eppure ci è utile per capire lo stato di “salute” della ricerca, nella speranza che con queste informazioni si possa trovare la ricetta per arginare il problema.