研究称AI模型Token消耗差达17倍

发生了什么

IT之家与凤凰网·科技报道，人工智能语言公平研究联盟上月发布研究称，AI模型处理不同语言时消耗的Token数量可能相差悬殊，研究人员称之为隐性的“分词器税”。在其中一个AI模型中，不同语言Token消耗量最多相差17倍；即使最常用的20种语言，最高也是最低的1.5至5倍。凤凰网·科技报道称，这影响费用、响应速度、上下文容量及参与AI经济的机会。