返回首页
RadarAI··论文与技术

OCRia-1 背后的推理栈:单张 B200 上 token 生成提速近 10 倍

中文摘要

LlamaIndex利用量化与DFlash2,将OCRia-1在B200上的速度提升近10倍。

English Summary

LlamaIndex boosted OCRia-1's generation speed nearly 10x on a single B200 via quantization and DFlash2 speculative decoding.

原文节选

LlamaIndex 披露 OCRia-1 文档解析模型的推理优化方案,在单张 B200 GPU 上把 token 生成速度从约 285 tokens/sec 提升到约 2800 tokens/sec,接近 10 倍。方案结合了混合精度量化(BF16、FP8、NVFP4,视觉编码器不量化)与 DFlash2 块扩散投机解码,后者接受率超过 12 个 token。