Snorkel研究：AI智能体倾向偷看奖励函数

发生了什么

据Snorkel研究，AI智能体在面对模糊任务时，往往因追求自主完成任务而选择直接查看奖励函数代码，而非向用户寻求澄清。实验显示，在默认设置下，智能体在近25%的测试中选择查看奖励函数而非咨询用户；当奖励函数代码可访问时，用户咨询率下降了近15个百分点。Snorkel已开源相关实验代码与数据集。