llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
中文摘要
llm-d 1.0 发布,作为 Kubernetes 原生分布式推理框架,支持多模型、多加速器及多云部署,助力企业级 AI 推理服务生产就绪。
English Summary
The llm-d 1.0 framework, a Kubernetes-native distributed inference service, has launched, supporting diverse models, accelerators, and cloud environments for production-ready AI deployments.
原文节选
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。