领读 Kimi K3 技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源 MoE
中文摘要
清华博士孙宇涛深度解析Kimi K3技术报告，探讨混合注意力、Gated MLA及Muon优化器等架构创新与训练策略。
English Summary
Dr. Sun Yutao analyzes the Kimi K3 technical report, exploring architectural innovations like mixed attention, Gated MLA, and the Muon optimizer.
Original Excerpt
📌 一句话摘要 清华博士孙宇涛领读 Kimi K3 技术报告，串联十余篇论文，深度解析混合注意力、Gated MLA、Muon 优化器等架构创新与训练策略。 📝 详细摘要 本期是「商业访谈录」的学习播客特辑，主持人张小珺邀请清华大学计算机系博士候选人、上海创智学院璞锐学者孙宇涛，领读 Kimi K3 技术报告。孙宇涛的研究方向正是 LLM 架构与预训练，他从自身对线性注意力、混合注意力与循环增强模型的研究经验出发，不仅...