字节Seed团队揭示DeepSeek模型压缩导致长上下文性能漂移
发生了什么
字节Seed团队发现DeepSeek模型因分块KV缓存压缩存在相位敏感性,导致长上下文性能漂移。团队在arXiv提交的论文评估了DeepSeek-V4-Flash、DeepSeek-V4-Pro及DeepSeek-V4.1-Flash,指出压缩虽降低内存和注意力成本,但引入Token相位问题,使信息检索性能呈现周期性变化,大型模型中长上下文准确度阶段差达40个百分点。IT之家报道。
- 评估模型
- DeepSeek-V4-Flash, DeepSeek-V4-Pro, DeepSeek-V4.1-Flash
- 性能差异
- 长上下文准确度阶段差40个百分点
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口