大模型长上下文记忆机制探讨

发生了什么

据r/MachineLearning讨论，当前长上下文模型虽能处理百万级token，但面临信息更新与冲突处理的挑战。用户指出，当上下文存在矛盾信息时，模型往往难以自动更新旧知识。针对此问题，DeltaNet与BDH等架构尝试通过预测误差更新或突触可塑性机制解决，但如何判断更新时机及避免干扰仍存争议。目前评估体系多侧重于信息检索能力，缺乏针对矛盾证据处理的基准测试。