英伟达优化 Kimi K3 推理速度,GB300 NVL72 上提升 1.68 倍
中文摘要
英伟达通过vLLM优化使Kimi K3在GB300上推理速度提升1.68倍,达423 tok/s/user。
English Summary
NVIDIA optimized vLLM to boost Kimi K3's inference speed on GB300 NVL72 by 1.68x, reaching 423 tok/s/user.
Original Excerpt
英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。