研究称 AI 模型不同语言 Token 消耗最高相差 17 倍,形成隐性分词器税
中文摘要
研究发现 AI 模型处理不同语言 Token 消耗差异最高达 17 倍,造成“分词器税”,推高低资源语言用户成本并降低性能,专家呼吁优化设计。
English Summary
AI models exhibit up to 17x variance in token usage across languages, creating a "tokenizer tax" that increases costs and reduces performance for low-resource language users; optimization is required.
Original Excerpt
人工智能语言公平研究联盟上月发布研究发现,AI 模型处理不同语言时 Token 消耗量差距悬殊,最常用 20 种语言间相差 1.5 至 5 倍,某模型中最多相差 17 倍。这种隐性的分词器税推高低资源语言用户的成本,还会拖慢响应、挤占上下文窗口;文字系统而非使用人数是关键因素之一,专家呼吁实验室公布各语言评估结果并改进下一代分词器设计。