AIに使い捨てのソフトを作らせて、ライブラリの品質を測る「Ephemeral Testing」

Daniel Lemire氏が提唱する新しいソフトウェア品質保証の手法「Ephemeral Testing」。自分のコードやライブラリの上にAIエージェントで使い捨てのアプリケーションを構築させ、それがどれだけスムーズに動くかで元のコードの品質を評価する。APIがクリーンで不変条件が安定していればAIは素早く動くものを生み出すが、隠れた状態や不十分なドキュメントがあれば失敗の山となる。失敗はAIではなく自分のコードへの証拠であり、異なるエージェントやタスクで繰り返せる。同氏は実際に新機能の検討時にこの手法を活用しているという。
失敗はAIではなく、あなたのコードに関する証拠なのだ。
HNでの議論
31- kqr
これは面白いアイデアだ。優れたソフトウェアエンジニアが頭の中でやっていることを、実際のコンパイラを使ってやっているだけとも言える。
Richard Gabrielが書いたことで、ずっと心に残っているものがある:
> 抽象化は、特に再利用や圧縮を意図する場合には、注意深く専門的に設計されなければならない。しかし、抽象化は特定の文脈で特定の目的のために設計されるため、あらゆる目的を予期しつつ、あらゆる目的を忘れるという形で設計するのは難しい。そしてそれこそが、よく設計された抽象化の証なのだ。
これは抽象化に関する私のお気に入りの引用の一つだ。「あらゆる目的を予期しつつ、あらゆる目的を忘れる」というのは、抽象化の設計に何が求められるかを実に見事に言い表している。
エージェント型のハーネスに入った言語モデルは、(まだ)優れたソフトウェアエンジニアと同じレベルでこれを行うことはできないが、彼らの強みはトークン生成の速さであり、エンジニアが想像しようとするものを実際に作り上げ、それを検証する方が簡単だという点にある。とてもクールだ!
- tshaw96
以前から似たようなことを考えていたアイデアがある:
- 我々はソフトウェアエンジニアリングをまだ本当には解決できていない。ある設計が将来のニーズにうまく適応するかどうかを事前に判断するのは難しい。コミュニティにはヒューリスティックの集合があるが、それらは時に互いに矛盾する。
- したがって、すべての設計を書き、それぞれを将来のニーズのランダムなツリーに対してシミュレートする。
- 将来の差分の平均を最小化するものを選ぶ。
言い換えれば、ソフトウェア設計のためのモンテカルロシミュレーションだ。この方式は明らかに、コード生成のコストがさらにゼロに近づくことを前提としている。
- simonw
最近このパターンをAPI設計でかなり使っているが、とても気に入っている。
APIを設計する際の大きな課題は、その設計に自信を持つ唯一の方法が、その上にさまざまなものを作ってみることだという点だ。しかし、まだ準備ができていないと思うAPIに、なぜそんな労力を注ぎ込むのか?
コーディングエージェントを使えば、そうしたプロトタイプを作るコストはほぼゼロになる。形を確定する前に、提案されたAPI設計を5通りの方法で試せるのだ。
- folkrav
何か見落としているのでなければ、これはリグレッションの防止には役立たない。結局のところ、著者自身も言っているように、最終的には統合テストなのだから、統合テストを直接書けばいいのではないか?
- olalonde
これは全く新しいものではない。きちんとしたテストを書く代わりに、バックエンドAPIをテストするための使い捨てのUIを作ったことがあるのは、私だけではないはずだ…