GPT-6 Astraはテスト手法を「理解」し始めた、ただし90,000ドルの評価でも結論は出ない

Test/verification technique effectiveness with Astra

Dan LuuがZstdとPandocの実装でGPT-6 Astraの検証手法の効果を検証。ZstdではAstraが1ドルで99%以上の正答率を達成し、ベンチマークが飽和。Pandocでは約9万ドルを投じて25回ずつ実行したが、どの条件も100%には届かず、Defaultが依然として健闘。差分テストやACL2が良好な一方、TDDは再び不振だった。

TDDが振るわないのは予想通りだったが、多数の小さなテストを書かせる他の条件が不振ではなかったことで、「小さなテストを多く書くと性能が下がる」というもっともらしい説明への信頼は下がるべきだ。
  1. kooi

    いい記事だね。形式検証をもっと調べてみようという良い動機付けになった。今日、Aristotleの記事があったけど、あれはプロンプト駆動でプラグアンドプレイのLeanを使った検証器のように見える。

    LLM支援による形式的な要件生成で、自作の「Aristotle」が作れるんじゃないかと思わされる。

    自分たちの信号処理分野のプロジェクトのことを考えている。良い道筋はこうかもしれない:人間の言語 → ブラックボックス/ホワイトボックスのランタイムテスト用の時相論理仕様。

    形式論理をランタイムモニタに変換するコード生成器は存在する。過去には、あまりに冗長なのでおもちゃの例題以上には使ったことがなかった。

    > この記事の趣旨は、AIコーディングの時代でも、雰囲気ではなく証拠に基づいて意思決定することが可能だと示すことだ。

    それがエンジニアとスクリプトキディの違いだ。

    ドメインの専門知識は常に価値がある。

  2. reedf1

    ここであなたが成し遂げた本当に強力なことは、エージェントパターンの分類体系を作り始めたことだ。この分野にいるのはほぼ全員エンジニアなのに、エンジニアリングがほとんど行われていないことに驚いている。人々は直感的に思えるパターンを選んでいる。さまざまな考案された理由で、それは最初のうちは問題ないが、そろそろ客観的に性能を測定し始める必要がある。言っておくべきは、もっともらしいエージェントパターンは無数にあり、すべて(スキルからMCP、Audit、何であれ)を、本当の正当化があるまではNetscapeと同じ末路をたどるかもしれないものとして見るべきだということだ。

  3. ArtRichards

    自分はTDDスキルと呼べるものを使っているけど、記事のどこにもTDDが何を意味するのか見つけられなかった。どうやってTDDを使うようにプロンプトしたのか?なぜ効果が低かったのか?なんだか狙われている気がする ;)

この日のほかの記事

2026-11-17