大模型选数偏好7的机制解析

发生了什么

据Towards Data Science分析，大模型在“1到10选数字”任务中表现出对7的极端偏好，呈现为单一峰值。研究指出，梯度下降使模型在预训练阶段习得人类偏好，导致峰值落在7；而模型表现出的“针状”尖峰则源于后训练阶段（如RLHF）的模式坍缩及解码机制中的温度调节，导致模型丧失了基础模型的校准能力。