面壁智能发布 LES 推理系统,让 MiniCPM-V 4.7 的 35B-A3B MoE 模型在手机上实时推理
中文摘要
面壁智能发布LES推理系统,支持MiniCPM-V 4.7的35B-A3B MoE模型在手机端实时推理。
English Summary
OpenBMB released the LES inference system to enable real-time mobile inference for the MiniCPM-V 4.7 35B-A3B MoE model.
原文节选
OpenBMB 发布 Lookahead Expert Scheduling(LES)推理系统,用于在端侧运行 MiniCPM-V 4.7 的 35B-A3B MoE 模型。