決定論的シミュレーションテストは分散システムだけのものではない
Deterministic Simulation Testing Is for Everyone
決定論的シミュレーションテスト(DST)は分散システム専用の技術と見られがちだが、あらゆるアプリケーションに有効だと著者は主張する。プログラムを決定論的な機械として設計し、環境をシミュレートすることで、テストのスコープ・決定性・網羅性を同時に高められる。Webアプリや組み込みシステムにも応用可能で、開発中にバグを早期発見できる。
DSTは義務感に駆られて行うものではなく、開発者を疑念で悩ませることもない。開発中にできるだけ多くのバグを見つけることで、恐れずに構築できるようにするのだ。
- csbartus
今日はこれで2つ目だ。『伝統的な』テスト手法(ユニット、e2e、統合、パフォーマンス、ペネトレーションなど)が再分類され、新しい視点で捉え直されている投稿を目にするのは。
もう一つはこちら: https://alperenkeles.com/posts/vocab-for-testing/
我々の(唯一の)仕事が機械のオラクルになることだというのは、本当に理解している: https://www.osequi.com/manifesto
- drooby
これが未来だと確信している。
自分でフレームワークを構築していて、職場のチームで既に数十の重要かつ致命的なバグを発見している。
ただ、この次に解くべき問題は「形式化された意図」だ。
バグは多くの場合、アプリが意図した通りに動作していないときにバグとなる。我々が意図することは常に明確とは限らず、それはエンジニアとプロダクトデザイナーの責任領域であり続けるだろう。なぜならソフトウェアは複雑で、我々が望むことを単純に計算できるものではないからだ。意図を定義し理解することは、多くの企業にとって「人間のボトルネック」であり続ける。
- TacticalCoder
決定論的テストは一つのことであり、それは強く必要とされている。
しかし私は、我々が決定論的実行へと向かっていると完全に確信している。つまり、様々な実装が、異なる言語で、異なるスタック上で動作し、最小限の(場合によってはハードウェアの)投票者がnモジュラー冗長性を担って正しい「答え」を選ぶのだ。
Postgresの0-day CVE?問題ない。実装の一つが誤った答えを出せば、壊れていると検出される。
Javaの0-day?同じことだ。
これにより、投票者以外のあらゆるものにおける0-dayは過去のものとなる(そして投票者は最小限で、攻撃面が極小であるべきだ)。
答えはAPIクエリかもしれないが、もっと低レベルまで行ける。ネットワークパケットを決定論的に生成し、n個のシステムから投票者(複数可)に送るのだ。答えが何であれ、それは決定論的であり、可能な限り低いレベルから検証される。
実装は仕様から書かれ、形式的に検証される、などなど。しかし、あらゆる失敗を確実に捕捉するものを保証するのは、同じ仕様のn個の独立した実装だ。
そして、実装/スタックの一つが、他のシステムが生成するものと一致しないネットワークパケットをたった一つでも返した瞬間、何かが壊れており修正が必要だ。
これには大量の非決定論的なくだらないものを捨て去る必要があるが、我々はまさにそうするシステムを見ることになるだろう。nモジュラー冗長性と投票者を、可能な限り低いレベルで。
我々はそこに向かっていると100%確信している(そしてAIがその大部分を我々のために書くだろう)。