NASの信頼性を確率で検証：50年間のデータ保存に必要な設計とは
P[drive failure]: how reliable is your NAS?
自身のデータを生涯保存するためにNASを構築する筆者が、ドライブ障害とセクタエラーの確率モデルを解説。バックブレイズの統計や研究を基に、RAID1構成と地理的分散の重要性を論じ、btrfsのチェックサム機能やSMART監視の役割も紹介する。理論と実践の両面から、データ喪失リスクを定量的に評価する試み。
「永遠」についての議論がどこかで起きるたびに、現実世界は必ず醜い頭をもたげる。何もかもが永遠ではないのだ。
HNでの議論
18- bob1029
> データを保存するためにできる最善のことは、冗長性を追加することだ。
情報を保存するためにできる最善のことは、データを、ビットの喪失や反転が決して起こらないようにすることだけを目的とした、冗長性とオンコールサポートを備えたフルタイムのエンジニアリングチームの手に委ねることだ。
耐久性の高いDIY NASソリューションの維持に週40時間を割り当てる能力でさえ、これには及ばない。それに反する認識は、単なる自己満足に過ぎない。制御は耐久性とは異なる。これらを混同してはならない。
これらの極めて起こりにくい事象の問題は、サンプルが少ないため、それについて推論するのが非常に難しいことだ。私の個人的なサンプルはわずかだが、落雷が究極のイコライザーであり、それ以外ではハードドライブはほとんど不死身であることを示している。明らかにこれは実際の統計分布を正確に表しているわけではないが、Nが約100である私にはこれが精一杯だ。BackblazeやAmazonは、私が想像もできないほど多くのハードドライブを所有している。彼らは実際の現実をより正確にモデル化できる。
日本のアニメ全作品のような特定の種類のデータについては、大規模プロバイダーが提供するような耐久性の保証に実際に費用を払いたくないかもしれないことは理解している。しかし、他の書類はどうだろうか？税金や法的書類は？それらを2つの異なる住宅地に同じ方法で保存してもよいだろうか？
- zootboy
正直なところ、N=4（ハードドライブ）でここまで確率計算に深く入り込むのは、かなり馬鹿げているように思える。私が所有してきた個々のハードドライブの状況について、大きく異なる逸話を数多く提示できる。20年前のドライブで今も問題なく動作しているものもある。新品のドライブが1年も経たずにサイレントにセクタを破損したこともある。故障確率に具体的な数値を当てはめようとするのは愚か者のする事だ。むしろ、コンポーネントは時間とともに故障すると想定し、それらの故障を優雅に処理するようにシステムを設計する方がよい。
とはいえ、著者が最終的に下したアーキテクチャの決定の多くには実際に同意する。地理的に離れた場所にオフサイトコピーを置いたBTRFS raid1は、平均的な人の個人文書にはかなり良い解決策だ。考えられる改善点は以下の通り：
- 異なる場所に複数のオフサイトコピーを置く
- ハードウェアの多様性（異なるモデルのHDD、ホストPC、電源など）
- 5〜10年周期でハードウェアを段階的に更新する
- コールドストレージ（オフライン）コピー
- wao0uuno
最も明白な結論に至るまでの、なんと長くて回りくどい方法だろう。重要なデータには冗長ストレージ（ミラー）を使用し、バックアップ（3-2-1ルール）を取ることだ。
データを簡単に再取得できるなら、冗長性に金を費やすな。