MIT与Sakana AI发布SIFT框架降低自改进编码代理评估成本

发生了什么

据VentureBeat AI 10月2日报道，MIT与Sakana AI研究人员提出SIFT框架，利用LLM裁判降低自改进编码代理的评估成本。该框架在Polyglot基准测试中，仅用42 CPU小时和约150美元API费用，在不到5小时内达到35.1%准确率。SIFT通过LLM对候选代理进行成对比较排名，结合快速检查筛选，避免昂贵的全量基准测试，从而更选择性地进行评估。