返回首页
RadarAI··论文与技术

山东大学研究:花哨的 coding agent harness 更贵但并不能提升成绩

中文摘要

山东大学研究:更换复杂的 coding agent harness 成本可增三倍,但成绩提升并不显著。

English Summary

Shandong University found switching coding agent harnesses triples costs without significantly improving scores, with fluctuations similar to repeated runs.

原文节选

山东大学研究者让五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个 harness 下跑 SWE-bench Verified 任务,发现换 harness 的结果波动与重复运行同一配置相当,成本却最多可达三倍。