「形式検証済み」という言葉を今すぐ廃止すべき理由

Formal Verification Is Not Verifiable

AIの普及で形式検証は一気に主流化し、検証済みソフトウェアの量は爆発的に増えた。しかし著者は、形式検証が「検証可能」ではないと指摘する。証明そのものは外部レビューを要さない一方、定義やモデル、証明器といった信頼領域は大きく、そこに誤りがあればforallの主張は崩れる。テストはバグ報告という人間が確認できる成果物を生む点で検証可能だ。著者は「Xを形式検証した」ではなく「YのX性質を形式検証した」と語るよう求め、信頼する範囲と証明された範囲を明示すべきだと主張する。

私の意見では、私たちはできるだけ早く「形式検証済みソフトウェア」という概念を廃止しなければならず、ニュアンスを持たせる必要がある。
  1. johnbender

    > これにより、(1) 高水準プログラミング言語のセマンティクスをモデル化することを省略でき、代わりにマシンのセマンティクス(おそらくより単純なセマンティクス)をモデル化できる

    ISAはかなり複雑で、そのコンテキストでプログラムについて推論するのは難しい。だからこそ我々は高水準言語を持っているのだ。

    > この用語の区別は、かつては口語的に受け入れられた概念だった。「CompCertは形式検証済みコンパイラだ」とか「seL4は形式検証済みマイクロカーネルだ」と聞いたとき、我々は著者が空虚または些細な性質を検証したのではないと想定した。なぜなら、検証作業自体が高い基準を課され、それが研究者の評判に大きく影響したからだ。

    CompCertはまた、定理を吟味するための広範な実証的評価も行っている。有名なCSmithの論文(https://users.utah.edu/~regehr/papers/pldi11-preprint.pdf)には、次のような非常に印象的な引用がある:

    > 2011年初頭の時点で、開発中のCompCertは、Csmithが誤ったコードのエラーを見つけられない唯一のコンパイラである。これは努力不足ではない。我々はこの作業に約6CPU年を費やした。CompCertの見かけ上の壊れにくさは、安全性チェックが明示的で機械検証される証明フレームワーク内でコンパイラ最適化を開発することが、コンパイラユーザーにとって具体的な利益をもたらすという強い論拠を支持する。

    私の職場ではこれをCPU千年にまで拡張した。もちろん、これはセマンティクスなどにおける不適切な仮定の可能性を排除するものではない(これは実証的なものだ […]

  2. mjb

    > プログラムの一階全称量化された性質で、プロパティベーステストとして書けるものであれば、バイナリレベルで、何百万時間ものテストで検証済みのアーキテクチャモデルに対して証明を生成できるようになると思う。これをマルチスレッドプログラム、分散システム、[..]に拡張する課題は、数千人の検証エンジニアと研究者が取り組むべき、さらに何年もの作業になるだろう。

    分散・並行版はもっと早く来ると思う。実際、2030年末までに、ここで言及されているシングルスレッドソフトウェアの基準が、非敵対的障害モード下のマルチスレッドおよび分散システムでも満たされるようになる方に賭けてもいい。これはこの分野のほとんどの人(そして私はせいぜい分野に隣接している程度だ)よりもかなり積極的な予測だが、進歩の速度を考えると、実際にはかなり保守的な賭けだと思う(本当に積極的な賭けは「2027年7月」だろう)。

    > ソフトウェアや特定のレイヤーが「ブーバ」的であればあるほど、それが正しいとはどういうことかを語るのは難しくなる。常にいくつかの正しい属性について語ることはできるが、統一的な正しさの概念について語ることは私の意見では不可能だ。

    これには概ね同意するが、ソフトウェアのユーザビリティや「ルックアンドフィール」の側面を定量化(ひいては検証)するにおいて、予想以上に進歩が見られるだろうとも思う。リスクは、これが「狭い」形で起こり、すべての「正しい」ソフトウェアが同じ見た目と感触を持つことを強制してしまうことだ。なぜなら […]

  3. skybrian

    言語仕様があり、誰もがそれを使うことに同意している場合、「このコードはコンパイルされるべきか」には明確な意味があり、「コンパイラのバグ」にも明確な意味がある。

    他の望ましい性質についての共有仕様を含む共通パッケージを持つことが、進むべき道になるかもしれない。ユーザーの観点からは、ツールはリンターのように振る舞うべきだ。

    信頼はどこから来るのか?人気のあるソフトウェアプロジェクトの場合、それを維持する信頼できるチームと、それを見守る多くの人々(そしてボット)から来る。その結果、誰かが自分でほとんど検証する必要なくリンターを使えるようになる。

    そしてもちろん、自分自身のカスタムプロパティを書いて証明できるべきだが、うまくいけばそれは共有定義の上に構築されるだろう。

  4. Mikhail_Edoshin

    プログラムが仕様に一致することを機械的に検証できると仮定すると、次の論理的なステップは仕様だけを保持し、プログラムを機械的に生成することだろう。

    書かれたコードはそれ自体が、人間がステップを検証するのに十分な論理的推論のように見えるべきだ。

  5. Taikonerd

    > その好例が最近の「バイナリ検証」アプローチで、プログラム自体についての事実を証明する代わりに、それらのプログラムのコンパイル済みバイナリについての事実を証明する。

    これは興味深い議論だ。長所と短所がわかる。

    私は形式手法の専門家ではないが、プログラム自体について事実を証明したい理由は、それらが高レベルの情報を「ただで」エンコードしているからだと思う。たとえば、この関数はPersonを返す、といったことだ。

    記憶が正しければ、TAL(型付きアセンブリ言語)を生成する特別なコンパイラの研究があった。TALが証明者に役立つ注釈を運べるというアイデアだった。

この日のほかの記事

2026-11-16