返回首页
RadarAI··论文与技术

llama.cpp 支持 Qwen3.8-27B DFlash 加速

中文摘要

llama.cpp v0.6.0已支持Qwen3.8-27B DFlash加速,使用新指令可获得更高推理性能。

English Summary

llama.cpp v0.6.0 now supports DFlash acceleration for Qwen3.8-27B, providing significant inference speed improvements via new command-line parameters.

原文节选

如果你在使用 Qwen3.8-27B + MTP,请务必升级到 DFlash 以获得额外加速: llama serve -hf ggml-org/Qwen3.8-27B-GGUF --spec-type draft-dflash --spec-draft-n-max 7 需要最新的 llama.cpp v0.6.0