研究自回归语言模型预测隐状态风险

发生了什么

据arXiv cs.CV发布的研究，自回归语言模型在预测隐状态时存在多种风险，包括token风险、教师强制隐状态风险和开环风险。研究分析了规范自由度与开环误差等潜在问题，指出若Bayes next-token后验为特定统计函数，则宽度匹配的隐状态、线性最小二乘转换和重配嵌入匹配Bayes token预测器。但匹配存在障碍，恒定隐状态使教师强制隐状态风险降为零，而完美token预测器可能隐藏空空间行走，其开环误差随时间线性增长。