EVENT DOSSIER
DeepSeek-V4-Flash 模型在四流残差路径中表现出特定的残差流使用模式。注意力或 FFN 位点通常仅有效利用约两个流，且读写路由随网络深度动态变化。研究发现，残差混合主要发生在早期层，而第 22 至 42 层则主要将各残差流独立前传，未实现深度混合。实验干预显示，替换晚期混合器为恒等映射对模型性能影响较小（C4 perplexity 增加 1.9%），而替换早期混合器则导致显著性能下降（perplexity 增加 41%）。此外，固定早期混合器至诊断均值或保留每个位点最大的三个路由权重，均能保持模型性能稳定。这表明该模型仅实现了四流 mHC 的部分灵活性，单个块极少需要全部四个流，且晚期残差混合并未提供显著收益。
DeepSeek-V4-Flash 模型在四流残差路径中，注意力或 FFN 位点仅有效使用约两个流，且读写路由随深度变化。早期层存在轻微残差混合，而第 22-42 层主要将各流独立前传。替换晚期混合器为恒等映射使 C4 perplexit…
DeepSeek-V4-Flash 模型在四流残差路径中，注意力或 FFN 位点通常仅有效使用约两个流，且读写路由随深度变化。残差混合主要发生在早期层，第 22-42 层主要将各流单独前传。针对性干预显示，替换晚期混合器为恒等映射使 C4…
DeepSeek-V4-Flash 模型在四流残差路径中，注意力或 FFN 位点仅有效使用约两个流，且读写路由随深度变化。早期层存在轻微残差混合，而第 22-42 层主要将各流独立前传。替换晚期混合器为恒等映射使 C4 perplexity 增加 1.9% 并保留六任务平均分，而替换早期混合器则使 perplexity 增加 41%。固定早期混合器至其诊断均值仅使 perplexity 增加 0.2%，表明位点特异性结构比 token 级变异更重要。保留每个位点最大的三个路由权重使 perplexity 增加不超过 2.7%，平均分数变化不超过 0.4 分。该模型仅实现了四流 mHC 部分灵活性，单个块极少需要全部四个流，晚期残差混合未提供显著收益。
DeepSeek-V4-Flash 模型在四流残差路径中，注意力或 FFN 位点通常仅有效使用约两个流，且读写路由随深度变化。残差混合主要发生在早期层，第 22-42 层主要将各流单独前传。针对性干预显示，替换晚期混合器为恒等映射使 C4 perplexity 增加 1.9%，保留六任务平均分；而替换早期混合器则使 perplexity 增加 41%。此外，将早期混合器固定为 C4 诊断均值仅使 perplexity 增加 0.2%，或保留每个位点最大的三个路由权重，perplexity 增加不超过 2.7%。研究证实该模型仅实现了四流 mHC 部分灵活性：单个块很少需要全部四个流，且晚期残差混合提供的收益有限。