非英语文本让 Gen AI 耗能激增180倍
Generative AI uses more energy on non-English text

密歇根大学研究发现,Gen AI 在处理非英语文本时,能耗可能比英语高出1.4到180倍,且输出质量往往更低。Hindi和Bengali等语言分别需要7.9倍和15.3倍的能量。这种“双重惩罚”不仅增加了使用成本,还可能加剧全球数字不平等,迫使数十亿人放弃母语转向英语。研究团队通过测试Qwen 3、Gemma 3和Llama 3.1等模型发现,非拉丁字母语言因Token数量更多,导致内存占用和能耗显著上升。为缩小差距,建议开发者优化特定语言模型或引入可靠的翻译流程,避免用户因语言障碍被技术拒之门外。
大多数人都希望用母语向AI模型提问,但随着AI融入社会更多领域,他们可能会感到被迫使用,而这种双重惩罚使得某些人群更有可能被AI拒之门外,企业也更不愿为特定语言提供服务。
HN 评论区
124- yipinwong
我对 AI 的内部运作机制一窍不通。
下面这个问题纯属好奇,绝非讽刺:
这类帖子是不是就像“多吃糖有害健康”那种老生常谈,仅仅因为互联网上的信息大多以英语为主?还是说这是一个大家以前未曾察觉的新发现?
- vova_hn2
我认为,从固定词元(token)集切换到类似 H-Nets [0] 的机制(HN 上讨论过 [1]),至少能改善这个问题,甚至可能彻底解决它。
因为目前的主要问题在于,某些语言的词元化效率远高于其他语言,而这是一个零和博弈:词元数量有限,为了某种语言增加所需词元,就不得不移除另一种语言的词元,从而降低后者的效率。
[0] https://www.cartesia.ai/blog/from-tokens-to-bytes-part-1
- esperent
你得读完文章的一半才能看到这一点,而它本应出现在第一段:
> 研究人员通过测量三个开源 AI 模型(阿里巴巴的 Qwen 3、Google 的 Gemma 3 和 Meta 的 Llama 3.1)的能耗,发现了能量消耗与准确率之间的差异。
- wickedsight
最近,我在公司做一个关于 LLM 的演示时,有人问用荷兰语提示(prompt)是否可行,还是用英语更好。我当时的观点是英语可能更好,因为模型训练数据中英语内容的比例可能远高于荷兰语,因此我假设它对英语的理解能力会更强。我从未想过这也会影响到能耗。挺有意思的。
- scottcha
我能够在 Neuralwatt Cloud 的 SoA 模型上相当轻松地复现该论文的部分内容,我们在那里根据能耗进行所有优化和定价。
准确率采用论文中严格的“#### N”解析器及宽松的回退机制。acc 表示严格/宽松的百分比。len_cap 是指在生成长度限制处被截断的响应数量,而非能耗上限。每种语言均有 50 条响应。
nw-flash (DeepSeek V4.1 Flash 1017)
Language J/req xEN tok/req J/tok acc len_cap
English 23.4 1.00 174 0.134 100/100 0
Chinese 16.8 0.72 389 0.043 96/96 0
Russian 18.8 0.80 352 0.054 96/96 0
French 25.1 1.07 272 0.092 98/98 0
S. Pashto 69.2 2.96 752 0.092 92/92 1
Tigrinya 65.3 2.79 2299 0.028 0/76 8
Shan 98.5 4.21 2823 0.035 48/54 14
Tibetan 42.3 1.81 2227 0.019 0/76 9
nw-small (Qwen3.8-27B-FP8)
Language J/req xEN tok/req J/tok acc len_cap
English 62.2 1.00 300 0.207 100/100 0
Chinese 154.1 2.48 605 0.255 94/94 1
Russian 147.7 2.37 576 0.257 96/96 1
French 163.3 2.62 323 0.506 98/98 0
S. Pashto 777.2 12.49 1510 0.515 84/84 6
Tigrinya 823.8 13.24 2458 0.335 0/76 10
Shan 1407.4 22.62 3422 0.41 […]