Back to Home
RadarAI··Papers & Tech

ServiceNow 与 McGill 发布 AgentHorizon 基准,发现 LLM 判官难察长程计算机使用任务的细微失误

中文摘要

ServiceNow与McGill发布AgentHorizon基准,揭示大模型在评估复杂计算机使用任务时的细微失误检测能力不足。

English Summary

ServiceNow and McGill introduced the AgentHorizon benchmark, revealing that LLM evaluators struggle to detect subtle errors in complex long-horizon computer-use tasks.

Original Excerpt

ServiceNow 和 McGill 的论文推出 AgentHorizon 基准,包含来自人工屏幕录制的 1,373 个判官任务,通过交换近同任务的指令构造干净的失败样本。