山东大学研究:花哨的 coding agent harness 更贵但并不能提升成绩
中文摘要
山东大学研究:更换复杂的 coding agent harness 成本可增三倍,但成绩提升并不显著。
English Summary
Shandong University found switching coding agent harnesses triples costs without significantly improving scores, with fluctuations similar to repeated runs.
原文节选
山东大学研究者让五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个 harness 下跑 SWE-bench Verified 任务,发现换 harness 的结果波动与重复运行同一配置相当,成本却最多可达三倍。