发布FaithAlign基准评估自动形式化语境感知忠实度

发生了什么

arXiv论文提出FaithAlign，这是首个理论规模的忠实度基准，包含460个项目和4,982个标注的短语级链接，旨在评估自动形式化中非正式源与形式陈述之间的语境感知忠实度。研究将忠实度评估构建为语境感知的对齐后标记问题。在8个模型的测试中，GPT-6 Astra以47.8%的缺陷F1得分最高，但在包含两个及以上缺陷的项目中仅能识别出所有缺陷的比例为4.5%。在FaithAlign-Gap上，Astra仅能识别28.2%的不确定项目。