字节跳动研究揭示DeepSeek长上下文检索位置敏感性

发生了什么

据TechNode报道，字节跳动Seed团队研究发现，DeepSeek模型在长上下文检索中存在不一致性。其机制在于分块KV缓存压缩导致检索精度对信息在压缩窗口中的位置敏感，产生高达40个百分点的位置差异。该“相位敏感性”现象在不同注意力组件中表现各异，解释了为何平均基准测试成绩优异但存在特定位置的检索弱点。