返回首页
RadarAI··论文与技术

面壁智能发布端侧多模态大模型 MiniCPM-V 4.7,3GB 内存可跑 13+ token/s

中文摘要

面壁智能发布 MiniCPM-V 4.7 模型,支持端侧运行,3GB内存下推理速度超13 token/s,实现高效多模态体验。

English Summary

Model MiniCPM-V 4.7 launched, enabling 13+ tokens/s on 3GB RAM via LES acceleration, offering efficient on-device multimodal capabilities.

原文节选

面壁智能于 10 月 13 日推出端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 两种规格,其中 35B-A3B 是该系列首个 MoE 模型,基于 LES 推理加速技术,在 iPhone 17 Pro Max 上以仅 3GB 内存实现 13+ token/s 解码速度。