La valutazione delle pubblicazioni scientifiche è parte integrante del processo scientifico. Secondo uno studio pubblicato sulla rivista PLoS Biology, gli scienziati sono giudici inaffidabili nell’esaminare gli articoli pubblicati da altri colleghi. L’analisi statistica messa a punto da Adam Eyre-Walker, dell'Università di Sussex, dimostra che il loro giudizio è spesso è condizionato dal prestigio della testata su cui è pubblicato un lavoro o dall’Università in cui è stata condotta una ricerca. Utilizzando circa 6000 paper hanno messo a confronto tre diversi parametri di valutazione degli articoli scientifici: 

• peer review post-hoc;
• numero di citazioni;
• impact factor

Nella peer review post-hoc sono gli scienziati stessi ad analizzare e a esprimere opinioni sui lavori pubblicati. Il numero di citazioni è un parametro, invece, che indica quante colte un articolo viene citato in altre pubblicazioni. L’impact factor è la misura dell'importanza di una rivista, determinato dal numero medio di citazioni che gli articoli di una rivista ottengono da autori di altri lavori.

I risultati dello studio dimostrano che gli scienziati non sono in grado di riconoscere l'importanza di una pubblicazione scientifica, spesso si lasciano influenzare dal nome della rivista dove è stato pubblicato il lavoro, sovrastimando i risultati pubblicati sulle riviste più prestigiose. A leggere la ricerca fatta da Walker si nota come per lo stesso studio preso in esame, raramente, gli scienziati esprimono il medesimo giudizio.

Inoltre, gli autori mostrano che il numero di citazioni ha una limitata relazione con il merito. Le citazioni si accumulano, infatti, in modo stocastico. Due lavori simili per merito scientifico possono ricevere inizialmente valutazioni soggettive diverse, uno dei due può essere citato da altri studiosi che a sua volta lo citeranno, accumulando infine "un distacco" che non corrisponde alla differenza reale del valore.

Walker definisce l'impact factor come “il meno peggio” tra i metodi considerati. Rappresenta, infatti, una forma di valutazione che precede la pubblicazione; ma probabilmente è anch'essa una misura del merito poco soddisfacente, perché dipende da una valutazione che dipende a sua volta dal numero di citazioni, che come dimostrato è casuale e quindi soggettiva.

Non esiste un solo metodo di valutazione, spiegano gli autori, ma un articolo deve essere esaminato utilizzando “un insieme di metriche” come il numero di visualizzazioni sul web, le discussioni suscitate sui social o le ricadute pratiche dei risultati.