EVENT DOSSIER
From September 4 to 7, 2026, researchers proposed a new evaluation protocol based on the Walton argumentation scheme theory to test the defense quality of nine cutting-edge large language models against 200 highly ambiguous moral choices. The study analyzed 6,778 manually scored cells through a four-stage dialectical process and verified the reliability of the results with 89.6% judge consistency. The results showed that all models exceeded the standard baseline in defense across all dimensions, but failures mainly focused on the adequacy of arguments, and were related to epistemological hesitation rather than argument length. Additionally, the protocol could identify strictly irrefutable defenses such as self-contradiction and revealed the difficulties in AI alignment regarding the representation of retraction roles, suggesting that more contextual evaluations are needed in the future.
研究人员提出一种基于论证分析的新标准，用于评估大语言模型在存在道德模糊性时的行为合理性。该研究通过四个阶段的辩证协议，对九种前沿模型在 200 个高模糊度 MoralChoice 题目中的辩护质量进行了测试，共涉及 6,778 个经人工评…
一项基于沃尔顿论证方案理论的新评估协议，通过四阶段辩证流程对九款前沿大语言模型在 200 个高模糊性道德选择项中的辩护质量进行了测试。该研究旨在解决现有 AI 监督方法依赖“真值”而忽视现实模糊性的问题，重点考察模型在面临关键质疑时的论证…
研究人员提出一种基于论证分析的新标准，用于评估大语言模型在存在道德模糊性时的行为合理性。该研究通过四个阶段的辩证协议，对九种前沿模型在 200 个高模糊度 MoralChoice 题目中的辩护质量进行了测试，共涉及 6,778 个经人工评分的单元格，且评分者间二元失败判断的一致性达到 89.6%。结果显示，模型在所有维度上的辩护均远超标准最低要求，但失败主要集中在理由充分性和论证强度上，这与认识论上的犹豫而非论证长度相关。此外，研究发现模型在事后解释中使用的论证方案与其推理时使用的方案存在显著差异（每种模型至少 20%），且该协议能捕捉到严格不可辩驳的辩护缺陷，同时揭示了 AI 对齐中关于撤回角色表征的困难，建议未来需进行更多情境化的评估。
一项基于沃尔顿论证方案理论的新评估协议，通过四阶段辩证流程对九款前沿大语言模型在 200 个高模糊性道德选择项中的辩护质量进行了测试。该研究旨在解决现有 AI 监督方法依赖“真值”而忽视现实模糊性的问题，重点考察模型在面临关键质疑时的论证结构质量。测试涵盖 6,778 个由人工评分的单元格，并在 89.6% 的法官一致性验证下确认结果可靠性。结果显示，所有模型在每个维度上的辩护均远超标准底线；失败主要集中在论据充分性上，且与认识论上的犹豫相关而非论证长度。此外，该协议能识别自我矛盾等严格不可辩驳的辩护，并揭示了 AI 对齐中关于撤回角色表征的困难，建议未来需进行更多情境化评估。