返回首页
RadarAI··论文与技术

研究称 AI 模型不同语言 Token 消耗最高相差 17 倍,形成隐性分词器税

中文摘要

研究发现 AI 模型处理不同语言 Token 消耗差异最高达 17 倍,造成“分词器税”,推高低资源语言用户成本并降低性能,专家呼吁优化设计。

English Summary

AI models exhibit up to 17x variance in token usage across languages, creating a "tokenizer tax" that increases costs and reduces performance for low-resource language users; optimization is required.

原文节选

人工智能语言公平研究联盟上月发布研究发现,AI 模型处理不同语言时 Token 消耗量差距悬殊,最常用 20 种语言间相差 1.5 至 5 倍,某模型中最多相差 17 倍。这种隐性的分词器税推高低资源语言用户的成本,还会拖慢响应、挤占上下文窗口;文字系统而非使用人数是关键因素之一,专家呼吁实验室公布各语言评估结果并改进下一代分词器设计。