清华微软新法让 DeepSeek Harness 省 87.93% token
中文摘要
清华与微软推出 HarnessMM,通过预写校验指令减少调用,使 DeepSeek Harness 节省约 88% 的 token 并显著提升成功率。
English Summary
Tsinghua and Microsoft's HarnessMM saves 87.93% tokens for DeepSeek Harness and boosts success rates by pre-writing validated commands to skip redundant LLM calls.
Original Excerpt
清华与微软论文提出 HarnessMM,让模型预先写出带校验条件的后续命令,工具结果通过校验就直接执行、跳过 LLM 调用。在 98 个 HumanEval 任务上,DeepSeek Harness 成功率从 71.43% 升至 85.71%,token 用量比原版减少 87.93%;Codex 成功率保持 90.82%,token 用量减少 29.54%。