VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

研究发现非英语的 token 成本更高

Coalition for Language Equity in AI Research 上个月发表的一项研究发现,AI 模型处理部分语言提示所需的 token 量远超英语。研究人员称之为隐性 token 税,意味着小语种用户的 AI 成本更高。研究发现,即使互联网最流行的 20 种语言,token 使用量也存在差异。最昂贵语言使用的 token 数量是最便宜语言的 1.5-5 倍。

www.solidot.org · 2026-10-29T15:10:38+00:00

Coalition for Language Equity in AI Research 上个月发表的一项研究发现,AI 模型处理部分语言提示所需的 token 量远超英语。研究人员称之为隐性 token 税,意味着小语种用户的 AI 成本更高。

研究发现,即使互联网最流行的 20 种语言,token 使用量也存在差异。最昂贵语言使用的 token 数量是最便宜语言的 1.5-5 倍。

当研究人员将范围扩大到 200 种语言,差异进一步扩大,一个 AI 模型的 token 成本差距甚至增加了 17 倍。研究指出:位于班加罗尔的初创公司可能需要为每次提示和完成支付附加费,而其位于奥斯汀的竞争对手则无需支付。

token 税的影响远不止成本。 token 数量越多,延迟就越高,有效上下文容量就越低。

在计算和连接本就有限的地区,这些惩罚最为严重。 token 不公平限制了 AI 经济的参与范围。

返回 AI 市场导读

来源:solidot.org