arXiv发布StoreBench:用于评估和训练自主代理的直播电商环境
发生了什么
据arXiv cs.AI论文介绍,研究者推出了StoreBench,这是一个用于评估和训练大型语言模型(LLM)自主代理的直播电商环境。在该环境中,代理需在生产级商业后端上运营一家中型在线服装店,面对全天候订单、供应商调价及市场波动等不确定性。研究对七款前沿LLM进行了评估,DeepSeek-V4-Pro表现最佳,但在任务通过率上仍远低于脚本锚定策略。
- 参与评估模型数
- 7款
- 测试场景数
- 11个
- 最佳模型通过率
- 49%
- 脚本策略通过率
- 97%
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口