Back to Home
RadarAI··Papers & Tech

山东大学研究:花哨的 coding agent harness 更贵但并不能提升成绩

中文摘要

山东大学研究:更换复杂的 coding agent harness 成本可增三倍,但成绩提升并不显著。

English Summary

Shandong University found switching coding agent harnesses triples costs without significantly improving scores, with fluctuations similar to repeated runs.

Original Excerpt

山东大学研究者让五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个 harness 下跑 SWE-bench Verified 任务,发现换 harness 的结果波动与重复运行同一配置相当,成本却最多可达三倍。