研究称大模型自主重构开发框架效果有限

发生了什么

据X平台@omarsar0发布的研究显示，大模型在自主重构开发框架方面的表现有限。实验中，模型通过固定代码引导编写完整框架，并进行两次全代码重写，结果显示保留得分仅提高2.80分，且95%置信区间跨越零点。研究指出，模型自主生成的修订版本改进甚微，且在开发游戏中的得分提升往往夸大了实际效果，目前人类引导的系统在相同游戏中的得分仍高于模型自主设计。