生产环境智能体低成本重评估方法
中文摘要
研究提出用难度分层的固定子集，以少量题目实现生产级智能体低成本、高保真的重评估，且具备极强迁移性。
English Summary
Researchers proposed a low-cost re-evaluation method for production agents using difficulty-stratified subsets, achieving high fidelity and portability across diverse agent families.
原文节选
一项研究用200道题（仅为完整基准的38.5%）复现了生产级分析智能体的完整评分，误差在1.03分以内。作者基于574次历史基准运行，对比了随机采样、缓存结果、固定代表性子集和基于项目反应理论的自适应测试，其中多维2PL自适应测试保真度最高。团队最终部署了难度分层的固定子集，因其更易运行，且无需重新校准即可迁移到五个其他智能体家族，校准窗口短至一天仍保持稳定。