研究：振荡动力学理解Mamba-3作用

发生了什么

据arXiv cs.LG论文《Understanding Mamba-3 Through Oscillatory Dynamics》指出，Mamba-3在循环状态更新中引入输入依赖旋转，其作用可被解释为欠阻尼二阶动力学。受控比较显示，欠阻尼动力学在状态跟踪任务中优于非振荡阻尼机制。预训练语言模型表明，这种机制有助于长上下文预测和长度泛化。干预实验进一步证实了学习相位的重要性，状态分析表明旋转调节保留信息与传入更新的结合方式。