返回首页
RadarAI··论文与技术

英伟达优化 Kimi K3 推理速度,GB300 NVL72 上提升 1.68 倍

中文摘要

英伟达通过vLLM优化使Kimi K3在GB300上推理速度提升1.68倍,达423 tok/s/user。

English Summary

NVIDIA optimized vLLM to boost Kimi K3's inference speed on GB300 NVL72 by 1.68x, reaching 423 tok/s/user.

原文节选

英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。