Thinking Machines 详解 Inkling 2 Small 原生 4-bit 全流程训练
中文摘要
Mira Murati 详解 Inkling 2 Small 原生 4-bit 训练,通过 NVIDIA GB300 将预训练时间从数周缩短至 68 小时。
English Summary
Mira Murati details Inkling 2 Small's native 4-bit training on NVIDIA GB300, cutting pre-training from weeks to 68 hours.
Original Excerpt
Mira Murati 发布 Connectionism 博客,详解 Inkling 2 Small 在 NVIDIA GB300 上以原生 4-bit 前向传播从预训练第一步到最终 RL rollout 的完整训练过程。这是全栈多项改进之一,将预训练时间从数周缩短到 68 小时;量化训练更快,但需解决量化误差干扰学习的问题。