Molecular D’ej\a Vu：在前沿语言模型中对已发布数值进行数字化检索

一项针对 22 个前沿语言模型的审计研究发现，这些模型在回归基准任务中广泛存在数字级记忆复用（verbatim retrieval）现象。具体而言，在五个特定数据集上，超过 50% 的模型表现出此类行为；而在其余数据集中，该现象仅以孤立单元格的形式出现。实验进一步表明，推理层级的变化会显著改变检索行为：在相同分子和提示条件下，高推理层级的模型比低层级模型多被标记 89% 的检索次数。此外，测试显示最强模型在部分情况下仍能识别变换后的 SMILES 字符串与原始标签的组合。当抑制检索后，不同模型的预测误差趋于一致，但数字级复用行为的使用差异导致结果分散。这些发现表明，大语言模型的一般预测能力不仅取决于其记忆值的数量。