返回首页
RadarAI··论文与技术

研究:编码智能体仅修复9%的智能体框架Bug

中文摘要

AgentBug-Smith研究显示,顶尖编码智能体仅能修复9%的Bug,远低于人类。引入经验指南可提升修复成功率。

English Summary

AgentBug-Smith research shows top coding agents fix only 9% of bugs, far below 40% for humans. Experience guides can improve performance.

原文节选

美国与中国多家实验室的论文提出 AgentBug-Smith,可将真实 GitHub bug 报告自动转为可运行测试,构建出持续增长的 200 个 bug 基准。3 个编码智能体中表现最好的仅修复 9%,远低于常规软件 bug 约 40% 的修复率。加入过往修复经验指南后,某智能体在 79 个未见 bug 上的正确修复数从 1 提升到 6。