Arena 研究 Interaction-as-a-Judge 评估范式
中文摘要
Arena研究提出Interaction-as-a-Judge范式,通过智能体与应用交互优化评估,显著提升了模型一致性、错误检测及推理强化学习性能。
English Summary
Arena introduces Interaction-as-a-Judge, allowing agents to interact with applications for better evaluation, boosting alignment, error detection, and performance in reasoning and reinforcement learning tasks.
原文节选
Arena 研究了 Interaction-as-a-Judge 评估范式,让 computer-use 智能体直接与游戏和应用交互来改进评估。该范式提升了与用户偏好的一致性、模型检测游戏错误的能力以及下游生成效果,并在推理时扩展和纯交互强化学习上均有改善,且效果随 computer-use 能力增强而提升。