Back to Home
RadarAI··Papers & Tech

IBM 评测 CUGA、Hermes 与 Deep Agents:同一模型下 AppWorld 完成率从 30% 到 81%

中文摘要

IBM CUGA 团队利用 GLM-5.3-flash 测试发现,CUGA 框架在 AppWorld 任务中实现 81.1% 的完成率,远高于 Hermes 和 Deep Agents。

English Summary

Using GLM-5.3-flash, IBM's CUGA harness achieved an 81.1% completion rate on AppWorld tasks, significantly outperforming Hermes (46.7%) and Deep Agents (30.0%).

Original Excerpt

IBM CUGA 团队用同一开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 agent harness:CUGA 完成 81.1%(73/90),Hermes 46.7%,Deep Agents 30.0%;SGC 一致性指标差距更大,分别为 20、8、2 个场景。