研究揭示LLM内部表征与外部一致性关系

发生了什么

据arXiv cs.CL发布的研究，通过聚合多轮对话的内部激活状态，发现LLM内部表征与外部一致性之间存在幂律映射与马尔可夫动态。研究发现，单个对话的内部表征变化大，不总能可靠追踪外部一致性。聚合跨对话的内部一致性视图显示，外部一致性可被马尔可夫过程良好预测，且内部一致性通过幂律映射与外部马尔可夫一致性耦合，揭示内部表征的马尔可夫动态。此外，模型在立场改变后，会先外部表达同意，内部表征才反映相同转变。