ServiceNow 与 McGill 发布 AgentHorizon 基准,发现 LLM 判官难察长程计算机使用任务的细微失误
中文摘要
ServiceNow与McGill发布AgentHorizon基准,揭示大模型在评估复杂计算机使用任务时的细微失误检测能力不足。
English Summary
ServiceNow and McGill introduced the AgentHorizon benchmark, revealing that LLM evaluators struggle to detect subtle errors in complex long-horizon computer-use tasks.
原文节选
ServiceNow 和 McGill 的论文推出 AgentHorizon 基准,包含来自人工屏幕录制的 1,373 个判官任务,通过交换近同任务的指令构造干净的失败样本。