SGLang-TorchTPU 发布,Ling 3.1 Flash 等开源模型入选首批支持阵容
中文摘要
SGLang发布TorchTPU插件,支持Ling 3.1 Flash等模型,由Google与Meta合作开发,已用于Meta生产并提升推理性能。
English Summary
SGLang-TorchTPU, co-developed with Google and Meta, supports models like Ling 3.1 Flash, providing high-speed inference for open-source models and agent workloads.
Original Excerpt
SGLang 与 Google TPU 团队、Meta PyTorch 团队合作发布 SGLang-TorchTPU,这是 SGLang 的 TPU 插件,已在 Meta 生产推理中使用,代码开源于 github.com/sgl-project/sglang-torchtpu。它支持 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 等开源模型及大规模智能体工作负载,自定义 MegaKernel 让 Muse Spark Open 在 InferenceX 8K/1K、bs=1 下达到 770 tok/s 解码。蚂蚁...