研究称 AI 模型不同语言 Token 消耗最高相差 17 倍

日夜间随系统浅色深色
主题色黑色

投稿

软媒应用

注册登录

业界手机电脑测评视频 AI 苹果 iPhone 鸿蒙软件

智车数码学院游戏直播 5G 微软 Win10 Win11 专题

搜索

热搜：苹果华为小米一加小鹏 MacBook 油价影之刃零三星影之刃

苹果首款触控屏 MacBook Pro 发布华为畅享 100 系列手机发布

京东 11.11 抢红包购痛快剩3次天天开红包最高 26888 元速抢广告

首页>智能时代>人工智能

新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

2026/10/30 12:25:52 来源：IT之家作者：清源责编：清源

评论：26

感谢IT之家网友 Coje_He 的线索投递！

IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。

当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量可能相差悬殊。

Token 是 AI 模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为隐性的“分词器税”，网络内容较少的语言尤其容易受到影响。

研究发现，即使是互联网上最常用的 20 种语言，Token 消耗量也存在明显差异，最高是最低的 1.5 至 5 倍。如果将测试范围扩大到 200 种语言，差距还会进一步扩大。在其中一个 AI 模型中，不同语言的 Token 消耗量最多相差 17 倍。

Image 8: 新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

研究报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高的成本。“分词器税”带来的问题还不只是费用上涨。消耗的 Token 越多，AI 响应就越慢，能够有效处理的上下文内容也越少。

计算资源和网络条件本就有限的地区受到的影响尤其严重。分词处理上的不平等，也限制了人们参与 AI 经济的机会。

印度首家专注 AI 投资的风险投资基金 Activate AI 联合创始人普拉蒂尤什 · 乔杜里指出，使用非英语语言时，同样的上下文容量能够容纳的文档和对话记录更少，AI 生成回答也更加费力。

乔杜里以教学为例解释道：“老师要想教好学生，就得记住学生以前犯过什么错误、接受过哪些讲解。如果使用某种语言时，这些历史记录很快就占满了上下文窗口，最终连教学质量都会受到影响。”

乔杜里认为，语言处理效率应当像准确性、速度和可靠性一样，成为 AI 产品的基本要求。“要求所有语言获得完全平等的待遇或许不现实，但长期存在的巨大差距仍需合理解释，并制定改进计划。我希望所有主要 AI 实验室都能公布各语言的评估结果，说明使用不同语言完成相同难度的任务分别需要花多少钱，并承诺改善支持最薄弱的语言，取得可以量化的进展。”

IT之家从报道中获悉，改善这一问题的办法之一，是提高底层数据的质量。

孟买 AI 语音基础设施初创企业 Navana.ai 联合创始人兼 CEO 拉乌尔 · 纳纳瓦蒂认为：“开放数据项目在这方面很重要。比如我们与印度科学学院合作、由盖茨基金会资助的 RESPIN 项目，就收集了 38 种方言母语使用者提供的文本和朗读录音。”

不过，人工智能语言公平研究联盟发现，决定 Token 消耗量的并不只有一种语言的使用人数，采用什么文字同样重要。

例如，阿斯图里亚斯语的使用者不多，在 Common Crawl 数据集中也没有收录，但拉丁字母为其带来了优势。意大利语等同属罗曼语族的语言在数据中有所覆盖，也让阿斯图里亚斯语受益。

Maya Research CEO 迪曼特 · 雷迪指出，现有许多分词器仍然主要针对英语等数据资源丰富的语言进行优化，根本问题在于缺乏高质量的数字化数据。

雷迪强调，改善训练数据本身还不够：“Token 价格下降得很快，费用差异造成的直接影响应该会逐渐减轻。更好的多语言数据和合成数据也有助于提高模型质量。但要真正缩小不同语言之间的分词差距，AI 实验室仍然需要专门改进下一代分词器的设计，让它们更好地处理这些语言和文字。”

投诉水文我要纠错

打分人数少于5人，暂不显示文章价值得分

有价值

无价值

下载IT之家APP，签到赚金币兑豪礼

关键词：人工智能，Token

软媒旗下网站：IT之家最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件：软媒手机APP应用魔方最会买要知

IT之家，软媒旗下科技门户网站 - 爱科技，爱这里。

研究称 AI 模型不同语言 Token 消耗最高相差 17 倍

新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

相关文章

人工智能最热文章