返回首页
RadarAI··论文与技术

llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪

中文摘要

llm-d 1.0 发布,作为 Kubernetes 原生分布式推理框架,支持多模型、多加速器及多云部署,助力企业级 AI 推理服务生产就绪。

English Summary

The llm-d 1.0 framework, a Kubernetes-native distributed inference service, has launched, supporting diverse models, accelerators, and cloud environments for production-ready AI deployments.

原文节选

IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。