La valutazione delle pubblicazioni scientifiche è parte
integrante del processo scientifico.
Secondo uno studio pubblicato sulla
rivista PLoS Biology, gli scienziati
sono giudici inaffidabili quando si tratta di esaminare le ricerche pubblicate da altri
colleghi. L’analisi statistica messa a punto da Adam Eyre-Walker, dell'Università di Sussex, dimostra che il loro
giudizio è spesso condizionato dal prestigio della testata su cui è stato pubblicato
un lavoro o dall’Università in cui lavora l'équipe di ricerca.
Attraverso l'analisi di circa 6000 paper sono stati messi a
confronto tre diversi parametri di valutazione degli articoli scientifici:
- peer review post-hoc;
- numero di citazioni;
- impact factor
Nella peer review post-hoc
sono gli scienziati stessi ad analizzare e a esprimere opinioni sui lavori
pubblicati.
Il numero di citazioni è un parametro, invece, che indica quante volte un articolo viene citato in altre pubblicazioni. L’impact factor è la misura dell'importanza di una rivista,
determinato dal numero medio di citazioni che gli articoli di una rivista
ottengono da autori di altri lavori.
I risultati dello studio dimostrano che gli scienziati non
sono in grado di riconoscere l'importanza di una pubblicazione scientifica,
spesso si lasciano influenzare dal nome della rivista dove è stato pubblicato
il lavoro, sovrastimando i risultati pubblicati sulle riviste più prestigiose.
A leggere la ricerca fatta da Walker si nota come per lo stesso studio preso in
esame, raramente, gli scienziati esprimono il medesimo giudizio.Inoltre, gli autori mostrano che il numero di citazioni
ha una limitata relazione con il merito. Le citazioni si accumulano, infatti, in
modo stocastico.
Due lavori simili per merito scientifico possono ricevere
inizialmente valutazioni soggettive diverse, uno dei due può essere citato da
altri studiosi che a sua volta lo citeranno, accumulando infine "un
distacco" che non corrisponde alla differenza reale del valore.
Walker definisce l'impact
factor come “il meno peggio” tra i metodi considerati. Rappresenta,
infatti, una forma di valutazione che precede la pubblicazione; ma probabilmente
è anch'essa una misura del merito poco soddisfacente, perché dipende da una
valutazione che dipende a sua volta dal numero di citazioni, che come
dimostrato è casuale e quindi soggettiva.
Non esiste un solo metodo di valutazione, spiegano gli autori, ma un articolo deve essere esaminato utilizzando “un insieme di metriche” come il numero di visualizzazioni sul web, le discussioni suscitate sui social o le ricadute pratiche dei risultati.
