亚马逊土耳其机器人是商业和经济研究中广泛使用的工具，但使用它的发表良好的研究结果有多值得信赖?通过分析2010年至2020年期间在该平台上测试并发表在主要期刊上的假设，我们发现了广泛存在的p黑客行为、发表偏见和过度依赖看似不足的研究结果的证据。即使忽略由研究对象的特征和行为引起的问题，研究团体本身的行为也会大大削弱这些研究结论的可信度。问题的程度在商业、经济、管理和市场研究领域各不相同(市场营销尤其受影响)。随着时间的推移，这些问题并没有得到改善，而且比在一组非在线实验的比较中更为普遍。我们探讨提高可信度的相关因素。