大模型潜伏推理状态探测难

发生了什么

arXiv cs.CL发布研究指出，大模型潜伏推理状态存在但传统单提示词探测极难读取。研究在Ouro-1.4B和Qwen2.5-1.5B模型中测试，发现差异仅在于一个数字的提示词对比显示状态存在，但常规单提示词探测效果不佳。研究提出包含合成无效值的测试协议，用于测试计算值与输入副本及混合物的对比，在两步问题研究中发现小信号。