返回首页
RadarAI··论文与技术

ServiceNow 与 McGill 发布 AgentHorizon 基准,发现 LLM 判官难察长程计算机使用任务的细微失误

中文摘要

ServiceNow与McGill发布AgentHorizon基准,揭示大模型在评估复杂计算机使用任务时的细微失误检测能力不足。

English Summary

ServiceNow and McGill introduced the AgentHorizon benchmark, revealing that LLM evaluators struggle to detect subtle errors in complex long-horizon computer-use tasks.

原文节选

ServiceNow 和 McGill 的论文推出 AgentHorizon 基准,包含来自人工屏幕录制的 1,373 个判官任务,通过交换近同任务的指令构造干净的失败样本。