Back to Home
RadarAI··Papers & Tech

社区实测面壁 MiniCPM-V 4.7 35B-A3B:iPhone 17 Pro Max 上 13+ tokens/s 端侧多模态推理

中文摘要

面壁 MiniCPM-V 4.7 35B-A3B 在 iPhone 上推理达 13+ tokens/s,仅需 3GB 内存,支持 256K 上下文并已开源。

English Summary

MiniCPM-V 4.7 35B-A3B achieves 13+ tokens/s on iPhone with 3GB memory, supports 256K context, and is open-source.

Original Excerpt

@techNmak 用面壁 MiniCPM-V 4.7 35B-A3B 实验构建了一个 Neo-Brutalist 风格的作品集 UI,OpenBMB 转发致谢并期待其后续作品。该模型总参数 35B、每次仅激活 3B,在 iPad Pro M4(16GB)上达 17+ tokens/s、iPhone 17 Pro Max 上达 13+ tokens/s,优化移动端设置下内存占用约 3GB;另有面向 OCR、图表、数学和通用理解的 1B 紧凑版本,两个版本均支持 256K 上下文窗口,权重、推理代码和微调代码开源,GitHub 与 Hugging Face 可获取。