Cortex：整合上下文为参数化记忆

发生了什么

据arXiv cs.CV论文，提出Cortex方法，通过生成前瞻性查询并将上下文条件输出蒸馏为可合并的低秩或结构前馈网络更新，将上下文信息整合为参数化记忆。在4B至120B密集及混合专家骨干网络上测试，Cortex在多数设置下位于经验上的巩固-保留帕累托前沿。在14B模型上进行50次顺序事实编辑后，Cortex-Structural恢复88.9%的上下文诱导增益，同时保留99.8%的原始非目标性能。