大模型自信且短视!Next-ToBE 破除 Next Token 预测诅咒 | ICLR'26
中文摘要
华东师大与复旦团队提出Next-ToBE方法,通过软目标分布优化预测,无需大改即可提升大模型在数学推理及代码生成任务中的前瞻能力与性能。
English Summary
Researchers introduced Next-ToBE for ICLR 2026, using soft target distributions to improve LLM foresight, significantly boosting performance in mathematical reasoning and code generation tasks.
Original Excerpt
📌 一句话摘要 华东师范大学与复旦大学团队在 ICLR 2026 提出 Next-ToBE 方法,通过将 Next Token Prediction 的 one-hot 目标分布替换为覆盖未来窗口的软目标分布,以轻量方式激活大模型的前瞻能力,在数学推理、代码生成等任务上显著提升性能。 📝 详细摘要 本文报道了华东师范大学与复旦大学团队在 ICLR 2026 上发表的工作 Next-ToBE(Next Token-Bag...