返回首页
RadarAI··论文与技术

个人开发者用 AI 十天写出 Strata 引擎,让 12GB 显存跑起 1250 亿参数的 Qwen 3.8 Flash Next

中文摘要

开发者用AI十天开发Strata引擎,通过专家缓存,使12GB显存即可运行1250亿参数模型并大幅提升速度。

English Summary

A developer used AI to build the Strata engine, enabling 125B parameter models to run on 12GB VRAM via expert caching with much higher speeds.

原文节选

作者复盘 Strata 引擎如何让 12GB 显存跑 1250 亿参数的 Qwen 3.8 Flash Next,核心是专家缓存加 CPU 分工,prompt 读速最高达 llama.cpp 的 15 倍,写速同版本比约两到四倍。文章逐项核对倍速数据的版本口径,指出压缩版在三项高难度测试保留完整模型 99.4% 分数,但专家缓存会带来输出偏差,且 64GB 内存门槛下对比 API 价格未必划算。