研究发现Mamba检索瓶颈源于信号延迟

发生了什么

据arXiv cs.CL论文《Beyond State Capacity: Why Retrieval Breaks in Mamba》研究，Mamba模型在上下文检索中表现不及Transformer，原因并非状态容量限制，而是相关性信号延迟。研究指出，随着模型深度增加，token表示中的相关性信号逐渐显现，但关键层的门控机制尚未与该信号对齐，导致即使容量充足也无法成功检索。