返回首页
RadarAI··论文与技术

DeepSeek 开源推理框架 DeepInfer 并发布技术报告,公开大规模部署细节

中文摘要

DeepSeek 开源高性能推理框架 DeepInfer,支持 NVIDIA GPU 和华为昇腾 NPU。

English Summary

DeepSeek open-sources its high-performance inference framework, DeepInfer, supporting NVIDIA GPUs and Huawei Ascend NPUs.

原文节选

DeepSeek 开源支撑其线上生产服务的高性能推理框架 DeepInfer,基于 Apache 2.0 许可证,并同步发布技术报告。框架集成 FlashMLA、DeepGEMM、DeepEP 等此前开源内核,加上调度、并行、DSpark 投机解码等系统层实现,同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。