SIFT研究揭示采样随机性为CoT检测瓶颈

发生了什么

arXiv论文提出SIFT作为元忠实度检测器，基于不变性原则审视Chain-of-Thought推理的自我忠实性。实验在14,996条轨迹、四个领域、八个模型上发现，所有现有检测器存在≥0.15 AUROC的转移崩塌，且超过80%的不稳定来源于采样随机性而非分布漂移。SIFT将不变性违规率降低64%，但通过四种随机种子集成可将差距压至0.01，且需约51%弃用率。研究指出，审计者的主要障碍是检测器方差而非分布漂移。