DeepSeek 开源推理框架 DeepInfer 并发布技术报告,公开大规模部署细节
中文摘要
DeepSeek 开源高性能推理框架 DeepInfer,支持 NVIDIA GPU 和华为昇腾 NPU。
English Summary
DeepSeek open-sources its high-performance inference framework, DeepInfer, supporting NVIDIA GPUs and Huawei Ascend NPUs.
原文节选
DeepSeek 开源支撑其线上生产服务的高性能推理框架 DeepInfer,基于 Apache 2.0 许可证,并同步发布技术报告。框架集成 FlashMLA、DeepGEMM、DeepEP 等此前开源内核,加上调度、并行、DSpark 投机解码等系统层实现,同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。