MomenticのAIエージェントが、アプリを実際に操作して11万7千件のバグを発見
Launch HN: Momentic (YC W24) – Agents that catch bugs by using your app
Momenticは、AIエージェント「Mo」がアプリを実際に操作してエンドツーエンドでテストするQAプラットフォーム。平易な英語のYAMLでユーザーフローを記述すると、UIが変わっても自動で修復しながらテストを実行し、CIの必須チェックとしてマージ前の検証を担う。これまでに約7,060万回のテスト実行をこなし、11万7,010件のバグを本番前に検出。NotionやWebflow、Quoraなどが本番環境で利用している。
E2EのQAが開発プロセスの一部として、これほど高速（6.3倍の並列実行）かつ大規模（プルリクエストごと）に回るのはまさに夢のようです。正直、グリーンのCIは今や私の睡眠の質に measurable な影響を与えています。
HNでの議論
76- ice_cream_man_9
ローンチおめでとうございます！面白そうですね。自分のサイトのページの一つでチェックを走らせてみました。いくつか目に留まった点を挙げます — お役に立てば幸いです：
- 少し混乱します：「Live Mo's screen」の下のウィンドウには「No bugs yet」と表示されているのに、上部のタブ（Agents / Bugs / Mo's screen）には「Bugs: 11」とあります。
プロセスが終了すると、ウィンドウには「Mo didn't find any bugs」と表示されましたが、上部のタブは「Bugs: 12」を示していました。
おそらくこれらは「Needs review」リストにあるからでしょうか？しかし、レビュー待ちならなぜバグがないと表示されるのでしょう？
- 見つかったバグはすべて「medium」とラベル付けされていますが、明らかに重要度は異なります。プログラムがこれらのラベルをどのように割り当てるかのツールチップがあると助かります。さらに良いのは、たとえば自分のレポート用に「high priority」としてフラグを立てるバグをカスタマイズできるオプションがあると素晴らしいです。
- 「stop testing」ボタンはプロセスのごく最後にしか現れませんでした。見逃したのかもしれませんが、気が変わってプロンプトを改良したくなったり、待ちくたびれたり、単に予算を使い果たしたくなかったり — 中止したい理由はたくさんあるのに、テストの間ずっとボタンがありませんでした。
- 発見したバグのリストをエクスポートするオプションがあると最高です。見出しを手動で選択してコピーできるのですから、ちゃんとしたエクスポート機能を提供しない手はありません。初回監査の結果を共有できるようになりますから […]
- beavisringdin
質問です：
- 私はいつも、こうしたサービスを使うよりも、自分のカスタムハーネスに組み込めるオープンソースツールを選ぶと思います。同じように高性能な競合が現れないと、どうして期待できるのですか？
- YC 2024だとしたら、この2年間何をしていたのですか？
- 本当の強みは、実機でのモバイル開発ビルドをサポートすることだと思います。これはロードマップにありますか？あるなら、どうやってサポートする計画ですか？その場合、実機をそちらで処理してくれるなら、お金を払いますよ。
- JulianPaul
自分のサブスクリプション内で、カスタムのPlaywrightベースのハーネスを使ってOpus 5.5を直接自分のアプリに対して実行するのと比べて、なぜこれが優れているのですか？
- daniiel
precision/recallが最初に見るべき数字だとは思いません。なぜなら、実際に知りたいのは、すでに壊れているフローに対してツールが「パス」と判断する頻度であり、サイレントパスはフレーキーテストよりも悪いからです。フレーキーなテストは少なくとも何かしら騒ぎを起こしますからね。
私は同じ分野で何かを作っていて、かなり早い段階でこれにやられました。それで結局やったのは、基本的にミューテーションテストでした：いくつかのオープンソースアプリを取ってきて、意図的にバグを仕込み、ツールがそれをどれだけ見逃すかを数えるのです。パス/フェイルの数は全然面白い部分ではなく、面白かったのはエンジンに第三の選択肢「判断できない」を答えさせることでした。それを許したら、偽のパスはほとんど消えました。単に推測をやめたのです。推測によるパスはテストがないより悪いと思いますし、同じ理由で毎回の実行をリプレイ可能にしています。そうでなければ自分の数字も信用できませんから。
Mo（いい名前ですね）が中間領域をどう扱うのか気になります — ドキュメントには再現できないバグは確認済みとして報告されないとありますが、どこかに表示されるのか、それとも単に捨てられるのか？そしてQA Benchでは、バグを自分たちで仕込んだのか、既存のものにラベルを付けただけなのか？
- podoman
> Moは、Momenticの過去3年間と、複雑な実世界のアプリケーションからの数百万のテストトレースに基づいて構築された、バグを捕まえるためのカスタムエージェントハーネスです。Moは再現率のために作られています：最も多くの実際のバグを見つけますが、Codexの方が精度はやや高く86%対84%です。トレードオフはコストです：Moはバグ1件あたり$2.67、Codexは$0.80で、Claude CodeやDevinより安いです。
これって良いのですか？つまりMoの方がバグ1件あたりのコストが高い？混乱しています。