将 600 亿参数大模型装进手机的瓶颈,终于被中国 AI 公司突破了
中文摘要
面壁智能发布BitCPM-CANN三值大模型,通过1.58-bit量化节省6倍显存并保留97%能力,实现端侧大模型部署突破。
English Summary
ModelBest's BitCPM-CANN ternary models use 1.58-bit quantization to save 6x memory and retain 97% performance, enabling large-scale mobile deployment.
原文节选
📌 一句话摘要 面壁智能联合清华、OpenBMB 发布 BitCPM-CANN 三值大模型系列,在华为昇腾上首次实现端到端训练,以 1.58-bit 量化节省约 6 倍显存,保留 97% 模型能力,为端侧大模型部署开辟新路径。 📝 详细摘要 本文报道了面壁智能在华为鲲鹏昇腾开发者大会(KADC 2026)上发布的三值大模型系列 BitCPM-CANN。该系列基于 1.58-bit 三值量化技术,将模型权重从传统的高精度...