EVENT DOSSIER
研究人员于 2026 年 9 月 7 日发布 TruthInsightBench，旨在评估开放科学发现代理的自动化能力。该基准包含源自 10 个科学领域 40 篇同行评审研究的 40 个盲测任务，仅提供中性目标和冻结数据，隐藏结论与预期值。固定大语言模型法官依据六个维度及 29 项基于实证的指标，对代理主张的证据成熟度进行自动化评分。测试显示，在冻结基础模型上运行的四个编码代理得分介于 58.4 至 60.3 分之间（满分 100），无统计学显著差异。尽管这些代理能胜任分析与文档工作，但缺乏建立可信主张所需的区分性行动。研究指出，瓶颈在于科学判断而非编码能力，真实发现目前难以实现。相关数据与评分代码已开源。
TruthInsightBench 是一个用于自动化评估开放科学发现代理的证据 grounded 基准，包含从 10 个科学领域 40 篇同行评审研究中抽取的 40 个盲测任务。该基准仅提供中性科学目标和冻结数据，隐藏源结论、预期值和分析…
研究人员发布 TruthInsightBench，旨在评估开放科学发现代理的自动化能力。该基准包含 40 个盲测任务，源自 10 个科学领域的 40 篇同行评审研究，仅提供中性目标和冻结数据，隐藏结论与预期值。固定 LLM 法官依据六个维…
TruthInsightBench 是一个用于自动化评估开放科学发现代理的证据 grounded 基准，包含从 10 个科学领域 40 篇同行评审研究中抽取的 40 个盲测任务。该基准仅提供中性科学目标和冻结数据，隐藏源结论、预期值和分析路径，要求代理自行确定数据支持的声明。固定 LLM 基于法官依据六个维度操作化的 29 个基于工件的项目对代理声明的证据成熟度进行评分，采用自动化确定性聚合且无人工分级。在一台冻结基础模型上，四个编码代理得分在 58.4 至 60.3 分之间（满分 100），无统计学显著差异；它们虽能胜任分析执行与文档编写，具备较强的证据可审计性和新颖性，但缺乏建立可信声明所需的区分性行为（如控制、稳健性、可证伪性及跨数据集泛化）。瓶颈在于科学判断而非编码，真实发现仍难以企及。TruthIn…
研究人员发布 TruthInsightBench，旨在评估开放科学发现代理的自动化能力。该基准包含 40 个盲测任务，源自 10 个科学领域的 40 篇同行评审研究，仅提供中性目标和冻结数据，隐藏结论与预期值。固定 LLM 法官依据六个维度及 29 项基于实证的指标，对代理主张的证据成熟度进行自动化评分。在一款冻结基础模型上，四个编码代理得分在 58.4 至 60.3 分之间（满分 100），无统计学显著差异；它们虽能胜任分析与文档工作，但缺乏建立可信主张所需的区分性行动。研究指出瓶颈在于科学判断而非编码能力，真实发现目前难以实现。相关数据与评分代码已开源。