Snorkel发布RIFT框架评估大模型评分标准

发生了什么

Snorkel发布RIFT（RubrIc Failure mode Taxonomy）框架，旨在评估大模型公开基准测试中评分标准（Rubric）的质量。该框架通过定量信号与九种失效模式分类法，识别评分标准在覆盖范围、对齐及基础性方面的缺陷。研究对金融、医疗、软件工程等五个领域的147项任务进行评估，发现缺失标准、对齐偏差及无根据验证等问题较为常见。RIFT框架通过模拟专家判断与文本分析，在受控腐败实验中识别失效模式的准确率达到75.0%。