Co-Design Bench 测试显示编码智能体仅在约四分之一任务上完全达标
中文摘要
阿里等发布Co-Design Bench,测评显示编码智能体表现欠佳,最强模型GPT-6 Astra仅在26.4%的任务中完全达标。
English Summary
Co-Design Bench results show coding agents struggle; top-performing GPT-6 Astra fully completed only 26.4% of tasks, highlighting significant gaps in AI coding capabilities.
原文节选
阿里与多所亚洲高校的研究者基于真实编码会话中的用户修改请求构建了 Co-Design Bench,要求智能体改造现有 Web 应用,输入含图片、音频、视频等。十个受测模型中最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 与 Qwen3.8-Max 分列其后,Grok 4.6 垫底。