Liquid AI 发布 LFM2.5-VL-3B-DSpark 投机解码草稿模型,解码最高提速 3.13 倍
中文摘要
Liquid AI发布LFM2.5-VL-3B-DSpark投机解码模型,使LFM2.5-VL-3B在Apple silicon和NVIDIA H100上的解码速度最高提升3.13倍。
English Summary
Liquid AI released LFM2.5-VL-3B-DSpark, a speculative decoding model boosting LFM2.5-VL-3B's decoding speed by up to 3.13x on Apple silicon and 2.66x on NVIDIA H100.
Original Excerpt
Liquid AI 发布 LFM2.5-VL-3B-DSpark,一个为其视觉语言模型 LFM2.5-VL-3B 设计的实验性投机解码草稿模型,新增约 279.5M 参数(+8.9%),在 Apple silicon 上解码最高提速 3.13 倍,NVIDIA H100 上最高 2.66 倍。