字节论文揭示DeepSeek V4分块压缩Bug

发生了什么

据雷锋网报道，字节跳动团队发布论文指出DeepSeek V4系列模型存在因分块KV Cache压缩导致的周期性准确率波动。研究发现，核心词若落在切块交界盲区会导致模型输出错误，如代码补全任务中错误率随装饰符数量呈周期性变化。测试显示不同位置准确率最大差距达40.2%。尽管DeepSeek尝试通过减小压缩步长缓解问题，但无法根除该结构缺陷。