512个进程共享内存,页表竟吃掉全部内存

Page Table Memory Consumption

Linus Torvalds 曾认为页表内存占用只是次要问题,但 Shakeel Butt 和 Andrea Arcangeli 等人在实际场景中发现了严重隐患。当多个进程映射相同的共享内存时,每个进程都需要独立的页表项,导致页表开销随进程数线性增长。在极端情况下,512个进程映射同一页面,页表消耗甚至等同于数据本身。数据库如 PostgreSQL 和 ClickHouse 也深受其扰,OOM 问题频发。虽然 Huge Pages 能缓解压力,但 NUMA 架构下的远程页表访问又带来了新的延迟挑战。这不仅是边缘案例,更是现代高性能计算中不可忽视的内存陷阱。

如果 512 个进程映射相同的页面,它们需要的页表项总量就相当于一整个数据页面的大小。
  1. hinkley

    2003 年正确的事情,到 2026 年完全可能不再正确,这中间没有任何矛盾。这是我多次遇到的问题:当人们试图用一个更新、更好的系统去替换一个虽然“能用”但已损坏的子系统时,往往会变得非常抵触,仿佛要求当初设计原系统的人必须承认自己有罪。

    随着问题领域的规模成数量级地扩大——自 Linus 在 2003 年发表那番狂怒的言论以来情况正是如此——正确的解决方案也会随之改变,有时甚至会改变好几次。当时的方案是正确的,但现在可能不再正确,而这两种情况在各自的语境下都是对的。

  2. monocasa

    虽然这篇文章正确地指出了基于树的页表(tree based page tables)存在的问题,但它未能说明 Torvalds 等人正在考虑的另一种方案(PowerPC 风格的哈希页表)为何更好。粗略一看,似乎并没有证据支持在文章描述的场景下哈希页表更优;每一个问题在哈希页表下似乎都会同样糟糕,甚至更糟。

    首先,PowerPC 上的哈希是基于虚拟地址和 VSID(虚拟段 ID)进行的,后者在功能上被用作地址空间 ID[0]。这意味着哈希页表也即为每个映射同一物理页的进程保留单独的条目。

    由于哈希页表是一个(物理上)连续的结构,因此所有相同的 NUMA 权衡问题也同样适用于它。

    因为它基于虚拟地址的哈希,所以你会遇到相同的结构部分驻留膨胀问题:要么在发生哈希冲突时必须将整个页表按 2 的幂次放大[1],要么必须将整个结构当作一个大型的“最后机会 TLB”来处理,并需要一个单独的软页面表来保存你的“真实数据”(而这很可能本身又是一个基于树的表)。

    此外,一次性抓取 8 个空间相关的 PTE,而不是仅仅抓取 8 个恰好哈希到同一位置的 PTE,往往能减少内存带宽而不仅仅是延迟,其原理与缓存和预取为何有效是一样的。很有机会,其他七个 PTE 实际上会是 n […]

  3. sweetjuly

    相关地,也值得考虑的是,你的虚拟地址(VA)分配行为会对页表成本产生重大影响。

    有些程序出于安全考虑,喜欢例如在随机 VA 处映射分配。如果你只使用单个页面,这会让你的最坏情况成本变成 1 页实际数据 + 2-3 页表项(取决于你的 CPU 架构和地址空间大小)。如果你非常频繁地这样做,成本会迅速变得非常高昂。

同日更多故事

2026-10-04