预印本测试显示 15 个 LLM 检出临床试验论文方法学错误的能力超过人类同行评审
中文摘要
大型语言模型检测临床试验论文方法学错误显著优于人类。15个LLM准确率53%-96%,远超人类27%,且AI速度更快,最高达99%。
English Summary
LLMs detect clinical trial paper errors far better than humans. 15 models scored 53-96% vs. human 27%. AI is also hundreds of times faster, with Claude Opus 5.5 reaching 99%.
Original Excerpt
一项新预印本测试了 15 个 LLM 检测临床试验论文中植入方法学错误的能力,模型得分 53% 到 96%,而未受训练的人类审稿人平均仅 27%。在 58 项 2026 年发表的新试验上结果仍成立,Claude Opus 5.5 最高达 99%;人类仅 7% 的情况下能发现文本与表格矛盾,每篇审稿需 5 到 8.5 小时,AI 只需 1.4 到 16.3 分钟。