哈佛研究：如何准确评估AI代理性能变化及避免评估偏差

发生了什么

据micro1 · 技术动态10月14日报道，哈佛大学Liu Zhang与micro1首席经济学家Mark Esposito研究了如何准确评估AI代理性能变化。研究跟踪了micro1的AI面试代理Zara五个月，包括2,611次生产面试评分、代理变更日志和候选人的支持工单。结果显示，两位评审员对同一面试的评分相差0.79个标准差，调整后代理改进幅度为+0.53个标准差。评估读数约5周后不再具有信息量，面试投诉率每月相对其他技术票下降10%。