返回首页
RadarAI··论文与技术

面壁 MiniCPM-V 4.7 在 iPhone 18 Pro Max 上实现 20.51 tokens/sec 本地多模态推理

中文摘要

MiniCPM-V 4.7 在 iPhone 18 Pro Max 上本地推理达 20.51 tokens/sec,提速 6.07 倍,现已开源。

English Summary

MiniCPM-V 4.7 achieves 20.51 tokens/sec local inference on iPhone 18 Pro Max, a 6.07x speedup. Available on GitHub and Hugging Face.

原文节选

OpenBMB 宣布 MiniCPM-V 4.7 在 iPhone 18 Pro Max(12GB)上实现平均 20.51 tokens/sec 的本地解码速度,较未优化的 SSD 专家加载基线提速 6.07×。提速来自 Lookahead Expert Scheduling(LES)、优化专家加载、细粒度量化与 DSpark 投机解码,GitHub 和 Hugging Face 已提供下载。