arXiv发布SemanticFold研究

发生了什么

据arXiv cs.CL发布的论文，研究提出SemanticFold压缩方案，通过折叠前缀隐藏状态以探究大语言模型在推理中保留的能力。该研究评估了Qwen3-1.7B、SmolLM2-1.7B等五种模型规模。结果显示，压缩使各项能力指标非单调变化且无单一阈值。例如在Qwen3-1.7B上R=1.7时NLL降低0.135，而在SmolLM2上R=1.2时NLL增加0.013。结论指出语言模型拟合、可解码性和推理行为在相同压缩操作下可能向不同方向移动。