METR 实现并评估用于 eval 安全的逐动作监控器
中文摘要
METR部署实时逐动作监控器利用LLM拦截智能体有害行为。测试显示其检出率高且误报率极低，但会显著增加成本与延迟。
English Summary
METR implemented an LLM-based real-time action monitor to prevent agent harm. It shows high detection and low false positives, though it increases costs and latency.
Original Excerpt
METR 为降低自家评测中智能体造成现实危害的风险，实现并部署了一个实时逐动作监控器，由 LLM 评审每个工具调用，超过 3/10 可疑度即阻断并交人工审查。UK AISI 在真实事故转录上验证 10 个恶意转录全部以至少 8/10 分被检出，约 98% 良性动作评为 0 分，实测误报率约 0.025% 每动作；监控带来约 85% 成本和 43% 延迟开销。