Back to Home
RadarAI··Papers & Tech

Edge0:本地运行 35B MoE 模型,仅需 2.5GB 内存

中文摘要

Edge0通过预训练路由和硬盘预读,实现2.5GB内存即可在手机及电脑本地流畅运行35B MoE模型。

English Summary

Edge0 enables 35B MoE model inference on devices with just 2.5GB RAM using pre-trained routing and disk prefetching, achieving 11-25 tokens per second.

Original Excerpt

📌 一句话摘要 Edge0-AI 团队通过预训练路由模块和硬盘预读策略,实现了在 16GB Mac、iPhone 和 Windows 设备上,用仅 2.5GB 内存流畅运行 35B MoE 模型,推理速度达每秒 11-25 token。 📝 详细摘要 Edge0-AI 开源的 edge0-infer 推理引擎解决了本地运行超大规模 MoE 模型时内存的瓶颈。通过将模型存储在硬盘,并利用预训练的路由模块预测下一时刻激活的...