Meta Superintelligence Labs 论文提出 Sharpening Tax:RL 后训练降低模型测试时解题覆盖
中文摘要
Meta研究发现RL后训练会降低模型覆盖率,基座模型在大量采样下比RL版本能解决更多任务。
English Summary
Meta research reveals RL post-training limits task coverage, as base models often solve more problems than RL-tuned versions given sufficient sampling.
原文节选
Meta Superintelligence Labs 等机构论文发现,轻量 harness 的基座模型在足够采样下常比 RL 后训练版本解决更多智能体任务,在 BFCL v4 multi-turn、ACEBench 和 WebShop 上,大 K 时基座常解开后者从未解开的任务。