Together AI 发布 Together Compiler:智能体持续优化推理,最高提升 2.6x TPS
中文摘要
Together AI 发布 Together Compiler,通过 AI 智能体实时重写模型推理过程,最高提升 2.6 倍吞吐量。
English Summary
Together AI launched Together Compiler, an AI agent-driven system that optimizes model inference in real-time, boosting throughput by up to 2.6x.
Original Excerpt
Together AI 发布 Together Compiler(TKCC),一个由编码智能体驱动的持续编译系统,随生产流量变化不断重写模型 forward pass 以优化推理,已在多个 serverless 端点上运行。