AutomationBench Verified 发布:600 个任务中 206 个评分器确认有 bug
中文摘要
AutomationBench Verified 发布,对 600 个任务进行审计并修复了 206 个评分器 Bug。
English Summary
AutomationBench Verified released after auditing 600 tasks and fixing 206 confirmed evaluator bugs for accurate benchmarking.
Original Excerpt
AutomationBench Verified 发布,对 Zapier AutomationBench 全部 600 个公开任务的评分器逐一审计,Agent 标记 323 个可疑项,人工确认 206 个真实 bug 并全部修复。