返回首页
RadarAI··论文与技术

Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

中文摘要

Baseten工程师利用Claude Code构建VibeQwen推理引擎,对比vLLM,在Qwen模型上实现了90%的解码加速及显著的吞吐提升。

English Summary

Baseten engineers used Claude Code to build the VibeQwen engine, achieving up to 90% faster decoding and significantly higher throughput for Qwen models compared to vLLM.

原文节选

Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。