A new replication crisis: Research that is less likely to be true is cited more

Sat, 29 May 2021 06:09:34 +1000

Andrew Pam <xanni [at] glasswings.com.au>

Andrew Pam

"Papers in leading psychology, economic and science journals that fail to
replicate and therefore are less likely to be true are often the most cited
papers in academic research, according to a new study by the University of
California San Diego's Rady School of Management.

Published in Science Advances, the paper explores the ongoing "replication
crisis" in which researchers have discovered that many findings in the fields
of social sciences and medicine don't hold up when other researchers try to
repeat the experiments.

The paper reveals that findings from studies that cannot be verified when the
experiments are repeated have a bigger influence over time. The unreliable
research tends to be cited as if the results were true long after the
publication failed to replicate.

"We also know that experts can predict well which papers will be replicated,"
write the authors Marta Serra-Garcia, assistant professor of economics and
strategy at the Rady School and Uri Gneezy, professor of behavioral economics
also at the Rady School. "Given this prediction, we ask 'why are non-replicable
papers accepted for publication in the first place?'"

Their possible answer is that review teams of academic journals face a
trade-off. When the results are more "interesting," they apply lower standards
regarding their reproducibility.

The link between interesting findings and nonreplicable research also can
explain why it is cited at a much higher rate--the authors found that papers
that successfully replicate are cited 153 times less than those that failed."

Via libramoon@pluspora.com.

       *** Xanni ***
mailto:xanni@xanadu.net               Andrew Pam
http://xanadu.com.au/                 Chief Scientist, Xanadu
https://glasswings.com.au/            Partner, Glass Wings
https://sericyb.com.au/               Manager, Serious Cybernetics

Comment via email

Home E-Mail Sponsors Index Search About Us