SLM 生成式高并发推理引擎:延迟约束下的有效吞吐优化
中文摘要
为0.5-1B规模的小语言模型(SLM)在搜推场景提供高性能、可复用的高并发推理引擎实践,优化延迟约束下的有效吞吐。
English Summary
High-performance engineering practices for high-concurrency SLM (0.5-1B) inference in search and recommendation, optimizing throughput under latency constraints.
原文节选
本文为SLM(Small Language Model, 小参数量语言模型0.5~1B)在搜推场景的大规模落地提供了一套高性能、可复用的工程实践。