Back to Home
RadarAI··Papers & Tech

TypeLLM:单次 API 调用执行类型化工作流

中文摘要

TypeLLM开源工作流模型,利用SGLang实现单次API调用,确保无需改动权重的Schema输出。

English Summary

TypeLLM is an open-source workflow model using SGLang to provide schema-guaranteed outputs via single API calls without modifying weights.

Original Excerpt

TypeLLM 发布开源工作流模型,可将整个工作流作为一次 API 调用执行,把 JSON Schema 转成依赖图并在单一共享上下文上运行。它基于 SGLang 做约束解码,enum/boolean 只给一个打分 token、数字限定位数、依赖图复用缓存前缀,因此无需改动权重即可从原生 Qwen checkpoint 获得 schema 保证的输出。