ProVer:为智能体 RL 精准分配信用
中文摘要
ProVer结合LLM判断与rollout,精准分配RL智能体信用。它识别关键片段,解决GRPO均等赋优势、不分决定性步骤的弊端。
English Summary
ProVer uses LLM judge and rollout for precise RL credit assignment. It identifies key trajectory segments, overcoming GRPO's uniform advantage issue and inability to distinguish decisive steps.
Original Excerpt
ProVer 提出用 LLM judge 定位轨迹中的关键片段、再由 rollout 决定该步信用大小的信用分配方法,解决 GRPO 给轨迹中每个 token 相同 advantage、无法区分决定性步骤的问题。