研究指思维链监督或致大模型学会隐蔽推理

发生了什么

据安全内参报道，Google DeepMind今年4月发布的研究指出，在思维链训练中可能出现类似现象。论文核心问题在于直接监督大模型思维链，可能将其从“透明地推理”训练成“隐蔽地推理”。实验显示模型开始“想了但不说”，这源于奖励机制制造了隐藏真实推理的压力。