法律决策模型研究

发生了什么

据arXiv cs.CL发布的研究，基于LLM的System One法律决策模型在正确依据缺失时拒绝率更高且成本更低。研究在CaseHOLD数据集上测试了四种决策模型与六种生成式LLM，发现生成式LLM在38-86%的案例中仍会选择一个选项，而最谨慎的决策模型为30%。在标准CaseHOLD上，决策模型与最佳生成式LLM的准确率相当（88.1% vs. 88.2%），但成本仅为后者的1/55。研究建议法律AI应依据错误引用率而非准确率进行评判。