返回首页
RadarAI··论文与技术

DeepSeek 以 Apache-2.0 开源高性能推理框架 DeepInfer

中文摘要

DeepSeek以Apache-2.0开源高性能推理框架DeepInfer,支持优化kernel、MoE优化及异步调度。

English Summary

DeepSeek open-sourced DeepInfer, a high-performance inference framework under Apache-2.0, featuring optimized kernels, MoE optimizations, and asynchronous scheduling.

原文节选

DeepSeek 以 Apache-2.0 许可开源了高性能大规模推理框架 DeepInfer,代码在 https://github.com/deepseek-ai/DeepInfer。支持特性包括优化的 kernel 与模型采样运行时、Attention DP / 均衡 CP、MoE EP + EPLB、DSpark 与置信度调度验证、SWA bounded replay、异步调度(零开销 batch 调度器)、batch-invariant 推理、确定性采样和结构化输出。