“榨”出硅的极限：怎么让 GPU 不“闲着”？
中文摘要
本文剖析AI Infra架构，探讨KV Cache复用、连续批处理等技术如何提升GPU利用率，最大化算力效率。
English Summary
This article analyzes AI Infra architecture and technologies like KV Cache reuse and continuous batching to maximize GPU utilization and computing efficiency.
原文节选
📌 一句话摘要 本文结合专家访谈与行业数据，系统拆解 AI Infra 的四层架构，解释 GPU 利用率低下的原因，并剖析 KV Cache 复用、连续批处理、PD 分离、投机采样等关键技术如何把算力效率榨到极限。 📝 详细摘要 在推理需求爆发与 GPU 短缺并存的背景下，AI Infra 成为新的千亿级赛道。文章从谷歌、OpenAI 自研芯片的造芯大战切入，指出相比继续采购硬件，提升已部署 GPU 的利用率是更现实的...