研究揭示非英语AI模型存在“tokenizer税”

发生了什么

据Coalition for Language Equity in AI Research发布的研究，AI模型在处理非英语语言时需消耗更多token，形成“tokenizer税”。该现象导致使用低资源语言的用户面临更高成本、更高延迟及更低的有效上下文容量。研究指出，除语言稀有度外，书写脚本也是影响token消耗的关键因素。专家认为，解决该问题需实验室在设计阶段针对不同语言和脚本进行优化。