SanSi模型通过循环迭代优化推理精度

发生了什么

据Hugging Face Papers报道，SanSi将预训练循环语言模型转化为类型化决策模型，在不生成token的情况下迭代细化隐藏状态以提升精度。在10,027个测试决策中准确率达72.0%，比同形状非循环模型高13.5个百分点，比更大尺寸单遍模型低1.8点。该模型支持从1到8次循环的单一运行，并在深度控制任务中扩展了可解深度。作为强化学习评判器时，使生成器F1提升7.7点。