StreamEval基准测试发布

发生了什么

Hugging Face Papers于2026年10月22日发布StreamEval，这是首个用于互动流式视频生成的基准测试。该测试包含五个任务：角色对话、角色表演、世界生成、指令编辑和参考编辑，共300个脚本化测试案例，持续15至300秒。研究发现，尽管模型能实现高视觉质量，但可靠请求执行和状态一致性仍是主要挑战。例如，在角色表演和文本条件下的世界生成任务中，最高执行分数分别为36.90和25.93。StreamEval评估维度包括任务执行、状态一致性、视觉保真度和视听协调，使用0至100的十个特定任务指标进行衡量。该基准测试的排行榜可在https://streameval.ai访问，代码库位于https://github.com/StreamEval/StreamEval。