跳到正文
智迹闻AuraTracer

预注册研究发现提示词优化器可能破坏未评分要求

本机阅读

发生了什么

据arXiv预注册研究,GEPA、MIPROv2和TextGrad等提示词优化器在提升目标指标时,可能破坏未评分的要求(如输出格式)。在HotpotQA数据集上,引用有效性的净回归达10.7至41.6点,而精确匹配上升21至34点。但在1,024-token限制下,提取失败消失,内容回归低于1点。研究认为副作用比假设窄,优化后的提示词更准确但破坏了显式输出契约。

引用有效性净回归幅度
10.7至41.6点
精确匹配提升幅度
21至34点

报道与来源

1 篇

发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。

  1. arXiv cs.CL一手材料

    Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study

来源关系与证据边界

按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。

  1. 一手材料1 个发布入口