返回首页
RadarAI··论文与技术

Together AI 发布 Together Compiler:智能体持续优化推理,最高提升 2.6x TPS

中文摘要

Together AI 发布 Together Compiler,通过 AI 智能体实时重写模型推理过程,最高提升 2.6 倍吞吐量。

English Summary

Together AI launched Together Compiler, an AI agent-driven system that optimizes model inference in real-time, boosting throughput by up to 2.6x.

原文节选

Together AI 发布 Together Compiler(TKCC),一个由编码智能体驱动的持续编译系统,随生产流量变化不断重写模型 forward pass 以优化推理,已在多个 serverless 端点上运行。