Back to Home
RadarAI··Papers & Tech

Meta Superintelligence Labs 提出 Sharpening Tax:RL 后训练提升 pass@1 但损失测试时扩展性

中文摘要

Meta研究发现RL后训练虽提升pass@1,却削弱了基座模型的测试时扩展性,称之为Sharpening Tax,并提出PTGS方案以在两者间取得更好平衡。

English Summary

Meta research finds RL post-training boosts pass@1 but incurs a "Sharpening Tax" by degrading test-time scaling, proposing PTGS to mitigate this trade-off between accuracy and broader task coverage.

Original Excerpt

Meta Superintelligence Labs 等发表论文,发现带轻量推理框架的预训练 LLM 在足够采样预算下解决智能体任务的覆盖面常超过 RL 后训练版本,如 BFCL v4 多轮、ACEBench 和 WebShop 上后训练模型赢在 pass@1,但基座模型在大 K 下常解出后训练模型从未解出的任务。研究将这一测试时扩展性损失命名为 Sharpening Tax,在 14 个基座/后训练配对、4 个模型族、3 个基准共 42 对中大多成立,随模型规模增大,可由少量 rollout 估计;提出的 PTGS 在 RL 中按提示估计难度设置采样温度,税更小且提升 pass@1。