山东大学研究:花哨的 coding agent harness 更贵但并不能提升成绩
中文摘要
山东大学研究:更换复杂的 coding agent harness 成本可增三倍,但成绩提升并不显著。
English Summary
Shandong University found switching coding agent harnesses triples costs without significantly improving scores, with fluctuations similar to repeated runs.
Original Excerpt
山东大学研究者让五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个 harness 下跑 SWE-bench Verified 任务,发现换 harness 的结果波动与重复运行同一配置相当,成本却最多可达三倍。