Back to Home
RadarAI··Papers & Tech

Adobe 提出基于技能的智能体实时评测方法

中文摘要

Adobe提出动态代码评测法,一致率比文本高29%且节省16% token。

English Summary

Adobe's skill-based evaluation uses dynamic code, achieving 29% higher human agreement and 16% fewer tokens than text-based methods.

Original Excerpt

Adobe 提出把标准答案写成每次运行都重新取数的代码,再由 AI 评分器对照检查智能体回答。在 53 个测试用例上,这种做法的 AI 评分与人类专家的一致率比文字描述答案高 29%,且少用 16% token;若没有可对照的答案,AI 评分器表现还不如随机。论文题为《Skill-based Agentic Evaluation for Real-time Data Science Tasks》。