Qwen 27B 内存占用压缩至 6GB
中文摘要
Qwen 27B 内存占用减至6GB,性能保留95%,可在树莓派运行。
English Summary
Qwen 27B memory use cut to 6GB with 95% performance retained, runnable on Raspberry Pi.
Original Excerpt
Emad Mostaque:AI 模型“几乎已经达到了人脑的效率”。 阿里巴巴的 Qwen 27B 通常需要约 60GB 内存,而 Prism ML 的一个团队通过用 1.5 bit 而非 16 bit 存储其数值,将其压缩到 6GB,同时保留了 95% 的性能。 在 6GB 下它可以在树莓派上运行,“其能耗与人脑相当。” ---- 完整视频在 “Tom Bilyeu” YouTube 频道,(链接在评论中)