JetSpec++ 投机解码提速最高 7.45 倍
中文摘要
UCSD Hao AI Lab推出JetSpec++,通过并行草稿与状态预测实现流水线化解码,提速最高达7.45倍。
English Summary
UCSD Hao AI Lab's JetSpec++ uses causal parallel drafting and state prediction to pipeline decoding, speeding up speculative decoding by up to 7.45x.
Original Excerpt
UCSD Hao AI Lab 推出 JetSpec++,用因果并行草稿、隐状态预测器和锚点 token 解码器,在当前块验证前先草拟下一块,把草稿与验证流水线化,几乎隐藏全部草稿开销。