研究发现LLM合规判决不依赖监管规则

发生了什么

据arXiv cs.CL研究论文《Verdict Without the Rule》显示，大语言模型合规系统的判决往往不依赖于提供的具体监管规则。在对五个模型和20个领域的测试中，即使删除或更改规则，模型的判决通常保持不变。评估中的守卫模型（guard model）对规则最不敏感且准确率最低（51%），仅略高于随机水平，而通用模型准确率为90-92%。这表明准确性本身并不能确立合规判决是基于所提供规则的。