OCRia-1 背后的推理栈:单张 B200 上 token 生成提速近 10 倍
中文摘要
LlamaIndex利用量化与DFlash2,将OCRia-1在B200上的速度提升近10倍。
English Summary
LlamaIndex boosted OCRia-1's generation speed nearly 10x on a single B200 via quantization and DFlash2 speculative decoding.
原文节选
LlamaIndex 披露 OCRia-1 文档解析模型的推理优化方案,在单张 B200 GPU 上把 token 生成速度从约 285 tokens/sec 提升到约 2800 tokens/sec,接近 10 倍。方案结合了混合精度量化(BF16、FP8、NVFP4,视觉编码器不量化)与 DFlash2 块扩散投机解码,后者接受率超过 12 个 token。