返回首页
RadarAI··论文与技术

Inworld 推出面向消费级 AI 应用的 Inworld Inference 推理 API

中文摘要

Inworld推出Inworld Inference API,支持Gemma 4等开源模型。其具有极低延迟,并可在模型失败时自动切换备用模型。

English Summary

Inworld launched Inworld Inference API, supporting models like Gemma 4. It offers ultra-low latency and automatic model failover during failures or timeouts.

原文节选

Inworld 推出面向消费级 AI 应用的 LLM 推理 API Inworld Inference,支持 Gemma 4、GLM、DeepSeek、MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟 0.17 秒,比 OpenRouter 其他服务商中位数快 3.6 倍,95 分位快 7.8 倍,并支持首个模型失败或超时后自动切换备用模型。