非英语文本让 Gen AI 耗能激增180倍

Generative AI uses more energy on non-English text

非英语文本让 Gen AI 耗能激增180倍

密歇根大学研究发现,Gen AI 在处理非英语文本时,能耗可能比英语高出1.4到180倍,且输出质量往往更低。Hindi和Bengali等语言分别需要7.9倍和15.3倍的能量。这种“双重惩罚”不仅增加了使用成本,还可能加剧全球数字不平等,迫使数十亿人放弃母语转向英语。研究团队通过测试Qwen 3、Gemma 3和Llama 3.1等模型发现,非拉丁字母语言因Token数量更多,导致内存占用和能耗显著上升。为缩小差距,建议开发者优化特定语言模型或引入可靠的翻译流程,避免用户因语言障碍被技术拒之门外。

大多数人都希望用母语向AI模型提问,但随着AI融入社会更多领域,他们可能会感到被迫使用,而这种双重惩罚使得某些人群更有可能被AI拒之门外,企业也更不愿为特定语言提供服务。
  1. yipinwong

    我对 AI 的内部运作机制一窍不通。

    下面这个问题纯属好奇,绝非讽刺:

    这类帖子是不是就像“多吃糖有害健康”那种老生常谈,仅仅因为互联网上的信息大多以英语为主?还是说这是一个大家以前未曾察觉的新发现?

  2. vova_hn2

    我认为,从固定词元(token)集切换到类似 H-Nets [0] 的机制(HN 上讨论过 [1]),至少能改善这个问题,甚至可能彻底解决它。

    因为目前的主要问题在于,某些语言的词元化效率远高于其他语言,而这是一个零和博弈:词元数量有限,为了某种语言增加所需词元,就不得不移除另一种语言的词元,从而降低后者的效率。

    [0] https://www.cartesia.ai/blog/from-tokens-to-bytes-part-1

    [1] https://news.ycombinator.com/item?id=50278253

  3. esperent

    你得读完文章的一半才能看到这一点,而它本应出现在第一段:

    > 研究人员通过测量三个开源 AI 模型(阿里巴巴的 Qwen 3、Google 的 Gemma 3 和 Meta 的 Llama 3.1)的能耗,发现了能量消耗与准确率之间的差异。

  4. wickedsight

    最近,我在公司做一个关于 LLM 的演示时,有人问用荷兰语提示(prompt)是否可行,还是用英语更好。我当时的观点是英语可能更好,因为模型训练数据中英语内容的比例可能远高于荷兰语,因此我假设它对英语的理解能力会更强。我从未想过这也会影响到能耗。挺有意思的。

  5. scottcha

    我能够在 Neuralwatt Cloud 的 SoA 模型上相当轻松地复现该论文的部分内容,我们在那里根据能耗进行所有优化和定价。

    准确率采用论文中严格的“#### N”解析器及宽松的回退机制。acc 表示严格/宽松的百分比。len_cap 是指在生成长度限制处被截断的响应数量,而非能耗上限。每种语言均有 50 条响应。

    nw-flash (DeepSeek V4.1 Flash 1017)

    Language J/req xEN tok/req J/tok acc len_cap

    English 23.4 1.00 174 0.134 100/100 0

    Chinese 16.8 0.72 389 0.043 96/96 0

    Russian 18.8 0.80 352 0.054 96/96 0

    French 25.1 1.07 272 0.092 98/98 0

    S. Pashto 69.2 2.96 752 0.092 92/92 1

    Tigrinya 65.3 2.79 2299 0.028 0/76 8

    Shan 98.5 4.21 2823 0.035 48/54 14

    Tibetan 42.3 1.81 2227 0.019 0/76 9

    nw-small (Qwen3.8-27B-FP8)

    Language J/req xEN tok/req J/tok acc len_cap

    English 62.2 1.00 300 0.207 100/100 0

    Chinese 154.1 2.48 605 0.255 94/94 1

    Russian 147.7 2.37 576 0.257 96/96 1

    French 163.3 2.62 323 0.506 98/98 0

    S. Pashto 777.2 12.49 1510 0.515 84/84 6

    Tigrinya 823.8 13.24 2458 0.335 0/76 10

    Shan 1407.4 22.62 3422 0.41 […]

同日更多故事

2026-11-14