返回首页
RadarAI··论文与技术

Architect 推出 Liquid Inference,为 LLM 推理引入实时竞价路由

中文摘要

Architect推出Liquid Inference,通过实时竞价市场为LLM推理提供最优路由,在生成首个Token前锁定最低价格。

English Summary

Architect launched Liquid Inference, a real-time auction marketplace for LLM inference that routes requests to the lowest bidder before generation starts.

原文节选

Architect Financial Technologies 发布 Liquid Inference,一个对每次请求进行实时拍卖的 LLM 推理市场,价格最低且满足买家规则的报价胜出,首 token 生成前锁定最高价。