How to stop the survey-taking AI chatbots that threaten to upend social science

Tue, 10 Feb 2026 12:05:40 +1100

Andrew Pam <xanni [at] glasswings.com.au>

Andrew Pam
https://www.nature.com/articles/d41586-026-00386-2

"Surveys are a cornerstone of social-science research. Over the past two
decades, online recruitment platforms — such as Amazon Mechanical Turk,
Prolific, Cloud Research’s Prime Panels and Cint’s Lucid — have become
essential tools for helping researchers to reach large numbers of survey
participants quickly and cheaply.

There have long been concerns, however, about inauthentic participation. Some
survey takers rush the task simply to make money. Because they are often paid a
fixed amount based on the estimated time taken to complete the survey
(typically US$6–12 per hour), the faster they complete the task, the more money
they can make.

Studies suggest that between 30% and 90% of responses to social-science surveys
can be inauthentic or fraudulent. This problem is exacerbated in studies
targeting specialized populations or marginalized communities because the
intended participants are harder to reach and are often recruited online,
raising the risk of fraud and interference by automated programs called bots.
Those percentages are much higher than the amount of fraudulent responses most
studies can cope with, if they are to produce results that are statistically
valid: even 3–7% of polluted data can distort results, rendering
interpretations inaccurate. And the problem is getting worse."

Via Christoph S.

Cheers,
       *** Xanni ***
--
mailto:xanni@xanadu.net               Andrew Pam
http://xanadu.com.au/                 Chief Scientist, Xanadu
https://glasswings.com.au/            Partner, Glass Wings
https://sericyb.com.au/               Manager, Serious Cybernetics

Comment via email

Home E-Mail Sponsors Index Search About Us