AI 领域的下一个百倍增长：推理、网络与自我优化模型
中文摘要
Baseten工程师深度拆解大模型推理技术栈，涵盖量化、投机解码与自优化，并探讨训练推理融合趋势。
English Summary
Baseten engineers detail the LLM inference stack, covering quantization, speculative decoding, and self-optimization, while discussing the convergence of training and inference.
原文节选
📌 一句话摘要 Baseten 推理工程师深度拆解大模型推理服务的完整技术栈，从长查询路由、量化、投机解码到模型并行，并探讨模型自优化、硬件演进与训练推理融合的未来趋势。 📝 详细摘要 本期节目由 Latent Space 主持人 swyx 与 Baseten 的两位资深推理工程师 Philip Kiely 和 Ali Taha 共同呈现，是一场关于 AI 推理工程的高密度深度对谈。对话从一次 20 万 token 的...