SemiAnalysis 解析 MoE 推理的计算与数据搬运
中文摘要
SemiAnalysis 解析 MoE 模型在推理硬件上的映射，重点探讨计算与数据搬运，旨在实现高效推理服务。
English Summary
SemiAnalysis analyzes computation and data movement in MoE inference, focusing on hardware mapping to optimize service efficiency.
Original Excerpt
推理中的计算与数据搬运 将 MoE 模型映射到推理硬件：结构、流程与高效服务 https://newsletter.semianalysis.com/p/computation-and-data-movement-for