DeepSeek 开源推理框架 DeepInfer,Thomas Wolf 盘点其连续开源的基础设施项目
中文摘要
DeepSeek开源推理框架DeepInfer,Thomas Wolf赞赏其持续开源FlashMLA、DeepEP等基础设施项目的势头。
English Summary
DeepSeek open-sourced its DeepInfer inference framework. Thomas Wolf praised DeepSeek's continuous open-source momentum with projects like FlashMLA and DeepEP.
Original Excerpt
Thomas Wolf 转评 DeepSeek 宣布将其生产推理框架 DeepInfer 开源,该框架支撑 DeepSeek-V4.1-Flash 的高吞吐低延迟推理,代码以 Apache 2.0 协议发布在 http://github.com/deepseek-ai/DeepInfer。他同时列举 DeepSeek 此前开源的 FlashMLA(H800 上 580 TFLOPS attention)、DeepEP(MoE 通信)、DeepGEMM(1350+ FP8 TFLOPS 矩阵乘)和 3FS 文件系统,称其开源势头令人敬佩。