Thomas Wolf 点评 Recursive_SI 开源本地编码模型 Flint:lm_head 量化到 4 bit 仍接近 bf16
中文摘要
Thomas Wolf称赞Recursive_SI的Flint模型,其lm_head量化至4-bit后性能仍接近bf16,是一款高效开源编码模型。
English Summary
Thomas Wolf praises Recursive_SI's Flint, an open-weight coding model achieving near-bf16 performance despite 4-bit lm_head quantization, offering fast local inference.
原文节选
Thomas Wolf 称自己对 AGI 的标准仍是 AI 拿诺贝尔奖,但称赞 Recursive_SI 的 Flint 敢于把通常建议保持高精度的 lm_head 量化到 4 bit,结果距 bf16 仅 0.7 个百分点且以开放权重发布在 Hugging Face hub。引用内容介绍 Flint 为快速本地编码模型,MacBook Pro 上 125+ tokens/sec、RTX Spark 上 150+ tokens/sec,从零构建用时不到 4 个月,开放权重现已在 Hugging Face 提供。