LLM代理复现77.4%医学论文并识别9.5%分析风险

发生了什么

据arXiv cs.CL报道，研究利用SEER数据库案例测试LLM代理的科研可重复性。引入包含20篇已发表论文的SEER-Repro基准，AI代理成功复现了2190个原子声明中的77.4%，并提供可执行基线。开发的智能体分析管道通过识别潜在的分析选择并重新运行分析，在完全复现的发现中识别出9.5%存在后果显著的分析选择，标记供专家审查。