提出TasteBench评估AI品味基准

发生了什么

据arXiv cs.CL论文，研究者提出TasteBench，这是一个跨视觉、品牌、书籍和科技物品的成对好坏基准，采用冻结的专家黄金标准（n>=3，同意率>=0.60）。研究通过控制协议分离工艺判断与作弊行为，并在第一轮试点中发现位置偏差、词汇泄露和难度天花板三个有效性威胁。研究发布了参考评估工具和侧随机化工具以修正偏差，但未评估参与度或校准。