长程智能体可靠性:99%单步成功率为何不够
中文摘要
单步99%成功率难保长任务,重试面临超时与状态变化挑战。长程智能体的可靠性不仅取决于LLM,更取决于其周边系统。
English Summary
A 99% single-step success rate is insufficient for long tasks. Reliability depends on both the LLM and the surrounding system to manage retries and state changes.
Original Excerpt
单步成功率 99% 时,10 步任务全程无失败的概率约 90%,100 步则降至 37%;若每次失败可重试一次且失败相互独立,37% 可回升到约 99%。但重试并不简单:响应超时可能导致动作重复执行,失败也可能改变系统状态,失败之间未必独立。因此长程智能体不只是 LLM 问题,模型周围的系统同样关键。