字节跳动提出HarnessDev研究

发生了什么

据MarkTechPost报道，字节跳动Seed等团队提出HarnessDev，评估LLM编写代码修改在隐藏任务中的泛化能力。研究显示，在64个相邻切换中，仅34个在隐藏任务中指向相同方向。进化阶段产生的73个版本中，自运行时创作者均有所提升，但GPT-5.5在固定Gemini下表现倒退10.32分。研究指出大量生成的状态和内存代码从未执行，且进化收益小且嘈杂。