返回首页
RadarAI··论文与技术

llama.cpp 支持通过 ggml RPC 后端在异构设备上分布式推理

中文摘要

llama.cpp引入ggml RPC后端,支持异构设备分布式推理,实现跨设备高效运行大模型,未来将持续优化提升用户易用性。

English Summary

llama.cpp adds a ggml RPC backend for distributed inference across heterogeneous devices, enabling efficient multi-device model execution with plans for improved accessibility for general users.

原文节选

llama.cpp 可通过 ggml RPC 后端在异构设备间分布式推理,作者 Georgi Gerganov 表示这是高级设置,后续会让普通用户更容易使用。被引用的实测称,MiMo 2.6 Flash 的原生 mxfp4 权重可跨 RTX 6000 GPU 与 M5 笔记本以 40 tokens/sec 通过 10 GbE 运行,llama.cpp 开箱即支持。