ページテーブルがメモリを食い尽くす:512プロセスでデータページと同等のコストに

Page Table Memory Consumption

Fernando Simõesが、ページテーブルのメモリ消費に関する過去の議論と事例をまとめている。2003年のLinus Torvaldsのメールから始まり、2020年のShakeel Buttによるmemory.statへのページテーブル指標追加、2022年のKhalid AzizによるOracleデータベースのOOM報告、2021年のQi ZhengによるMADV_DONTNEED後のページテーブル解放問題、そしてPostgresやClickHouseでのhuge pagesによる解決策までを網羅。NUMAマシンにおけるページテーブルの複製問題にも触れ、ページテーブルが無視できないリソースであることを示している。

512個のプロセスが同一のPTEを持つ場合、ページテーブルはデータページと同じくらいのメモリを消費する。
  1. monocasa

    この記事はツリーベースのページテーブルの問題点を正しく指摘しているが、Torvalds らが検討しているもう一つの選択肢(PowerPC スタイルのハッシュページテーブル)がどのように優れているのかについては説明できていない。ざっと見た限りでは、記述されたケースにおいてそれらが優れていることを裏付けてはいないようだ。それぞれの問題は、ハッシュページテーブルでは同じか、あるいは悪化するように思える。

    第一に、PowerPC のハッシュは仮想アドレスと VSID(仮想セグメント ID)に対して行われ、VSID は機能的にはアドレス空間 ID として使われる[0]。つまり、ハッシュページテーブルも、同じ物理ページをマップするプロセスごとに別々のエントリを持つことになる。

    ハッシュページテーブルは(物理的に!)連続した単一の構造体なので、同じ NUMA トレードオフがすべてそこにも当てはまる。

    仮想アドレスのハッシュに基づいているため、ハッシュ衝突時にページテーブル全体を2の累乗でサイズアップするか[1]、さもなければ全体を大きなラストチャンス TLB のように扱い、真の情報を保持する別のソフトウェアページテーブル(おそらく結局はツリーベースのテーブルになるだろう)を用意するかのどちらかになり、部分的な常駐による構造体の肥大化という同じ問題を抱えることになる。

    さらに、空間的に関連する 8 個の PTE を一度に取得するのではなく、たまたま同じハッシュ値になった 8 個を取得するというのは、キャッシュやプリフェッチがそもそも機能するのと同じ理由で、レイテンシだけでなくメモリ帯域幅も削減する傾向がある。残りの 7 個の PTE が実際に n […]

この日のほかの記事

2026-10-04