TMAP 平台图生视频推理加速实践
中文摘要
TMAP利用并行、量化及DPCache实现图生视频4.87倍加速，保证无损质量且成本极低。
English Summary
TMAP achieves 4.87x I2V inference acceleration via parallelism and quantization, ensuring lossless quality and costs under 0.15 RMB/sec.
Original Excerpt
📌 一句话摘要 TMAP 平台通过多卡并行、SageAttention 量化、混合精度线性层量化及自研 DPCache 缓存，在无损视频质量前提下实现 4.87× 推理加速，单次成本低于 0.15 元/秒。 📝 详细摘要 文章详细介绍了淘宝技术（TMAP）平台在图生视频（I2V）模型工业落地中的推理加速实践。文章先阐述了图生视频模型面临的显存占用高、推理延迟大和成本昂贵的瓶颈，然后分别从多卡并行（Deepspeed U...