返回首页
RadarAI··论文与技术

JetSpec++ 投机解码提速最高 7.45 倍

中文摘要

UCSD Hao AI Lab推出JetSpec++,通过并行草稿与状态预测实现流水线化解码,提速最高达7.45倍。

English Summary

UCSD Hao AI Lab's JetSpec++ uses causal parallel drafting and state prediction to pipeline decoding, speeding up speculative decoding by up to 7.45x.

原文节选

UCSD Hao AI Lab 推出 JetSpec++,用因果并行草稿、隐状态预测器和锚点 token 解码器,在当前块验证前先草拟下一块,把草稿与验证流水线化,几乎隐藏全部草稿开销。