DeepSeek 开源自研推理框架 DeepInfer
中文摘要
DeepSeek 开源自研推理框架 DeepInfer,支持高吞吐低延迟大模型推理。此举旨在降低社区算力成本与能耗。
English Summary
DeepSeek open-sourced its DeepInfer inference framework. It enables high-throughput, low-latency large model inference, aiming to cut community compute costs and energy use.
Original Excerpt
DeepSeek 宣布其自研推理框架 DeepInfer 完全开源,代码托管在 http://github.com/deepseek-ai/DeepInfer。该框架以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模推理,官方称开放生产技术栈旨在帮助社区降低算力成本与能耗。