返回首页
RadarAI··论文与技术

不用显卡:玩家用停产英特尔傲腾内存跑通 2.8 万亿参数 Kimi K3,每秒输出 1.5 词元

中文摘要

网友利用停产的英特尔傲腾内存,在无显卡下运行 2.8 万亿参数 Kimi K3,1 比特量化下达 1.5 tokens/s。

English Summary

A user ran the 2.8T parameter Kimi K3 using discontinued Intel Optane memory without a GPU, achieving 1.5 tokens/s via 1-bit quantization.

原文节选

网友 u/IndividualSurvival 在 Reddit 分享家庭实验室尝试,不配显卡、仅用已停产的英特尔傲腾持久内存 200 系列,通过 llama.cpp 成功运行 2.8 万亿参数的月之暗面 Kimi K3。1 比特量化下初始生成速度约每秒 0.85 个词元,关闭 DAX 后提升至每秒 1.50 个词元;3 比特量化仅每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。