研究提出Elo-per-token分析法

发生了什么

据Hugging Face Papers发布的研究，研究者提出Elo-per-token分析法，用于追踪大模型代理在不同token预算下的最优解，并通过Bradley-Terry模型聚合跨任务的Elo评分。研究发现，大模型代理在测试期计算分配上初期扩展速度快于独立采样，但边际收益会随时间递减。此外，实验表明将总token预算分配至多个并行短会话，相比单一长会话能获得更高的Elo评分。