结构化输出与缓存因缺拒绝选项致AI自信犯错

发生了什么

据Towards Data Science报道，Benjamin Nweke发现开启Structured Outputs后，解析支付确认消息时出现少量日期不匹配。因模式声明transaction_date为必填且模型无法返回空值，当原文无日期时，模型常错误填入提取作业运行日期。此外，相似度缓存仅支持命中或未命中，无法区分语义相反但字符串近似的不同问题，命中将跳过检索和模型。这两者均缺乏“拒绝”或“ abstention”机制，导致强制生成的错误值通过所有格式检查，使此类故障难以察觉。