返回首页
RadarAI··论文与技术

Eagle Corp 开源 EAGLE-4 推理加速草稿模型

中文摘要

Eagle Corp 开源 EAGLE-4,支持自适应投机解码,搭配 Qwen 模型在 B300 上推理速度达 961.6 tokens/s,显著提升 AI 计算效率。

English Summary

Eagle Corp released open-source EAGLE-4, an adaptive speculative decoding model achieving 961.6 tokens/s with Qwen, optimizing AI inference efficiency across diverse hardware and workloads.

原文节选

Eagle Corp 发布开源灵活草稿模型 EAGLE-4,可根据批大小、硬件和工作负载自适应调整投机解码策略,并保持目标模型的输出分布。实测搭配 Qwen3.8-27B 在 4× NVIDIA B300 上达到 961.6 tokens/s。Eagle 是服务 NVIDIA、Meta、Intel、AMD、Perplexity 等公司的 AI 推理平台。