GPT-5.6 Luna、コードレビューでGPT-6 Astraの75%のバグを3.6%のコストで発見

GPT-5.6 Luna vs. GPT-6 Astra: Is a $1.20 Model Good Enough for Code Review?

GPT-5.6 Luna、コードレビューでGPT-6 Astraの75%のバグを3.6%のコストで発見

GPT-5.6 LunaとGPT-6 Astraを50件の公開PRで比較。Lunaは検証済みバグ69件を0.20ドルで、Astraは92件を5.66ドルで発見した。Lunaは精度74%とノイズが多いが、コストは28分の1。セキュリティバグは24件中9件のみで、認証・権限コードのレビューには不十分。日常的なバグには十分だが、セキュリティ重視のコードにはAstraが必要。

Lunaはその価格で日常的な正確性バグには十分だが、認証や権限のコードを単独でレビューさせるべきではない。
  1. nonethewiser

    AIはコードレビューに使うべきだが、CIに入れるべきではない。

    ほとんどのPRはすでに2人以上の開発者が見ているはずだ。そしてその開発者は絶対にAIを使うべきだ。PRの作者もAIを使うべきだ。

    しかし、やってはいけないのは、AIの出力をそのままPRに流し込んで、PR作者に対処しろと伝えることだ。それはPRレビューのプロセスにノイズを加えているだけだ。AIが言うことのすべては、PR作者が関連性や有用性などを検証する必要がある。それを行ってからでないと、作者に突きつけるべきではない。

    エージェントにPRをレビューさせて、その出力をそのままPRにコピペするなんて、しないだろう?

  2. jacobgold

    個人的には、CodexとAstra/Sol、ClaudeとFable/Opusは、2026年9月時点で、お金を出せるならすべてのプロのプログラマーが使うべきものだと思う。

    これらのモデルは、我々が本当に望むものに比べればまだひどいが、利用可能な中では最高だ。

    月200ドルのサブスクリプションで済むなら、ほとんどのプロにとってはお金の問題ですらない。

    私の仕事は今やほとんどが、計画、生成、レビュー、計画、生成、レビュー、コミット、プッシュだ。

    ClaudeかCodex(あるいは両方)を使っていて、テストはCIアクションなどではなく「インライン」で全部やっている。

  3. InsideOutSanta

    私はコードレビューに中国のモデルしか使っていない。なぜなら、拒否されるリスクなしに、敵対的な立場を取らせて積極的にセキュリティ問題を探させることが実際にできるからだ。GLM-5.3はこれに最適だが、大きなPRでは遅くなることがある。

  4. StevenWaterman

    PRレビュー1回あたり0.10ドルの追加なんて何でもない。レビューの質が下がり、見つかるバグが減るのを10セント節約のために受け入れるソフトウェア会社なんてあるのか?

  5. CharlieDigital

    Luna、そして5.4-miniでさえ、いくつかの条件が揃えばコードレビューにかなり良いと感じた:

    1. 複数サイクルで実行し、差分のみを対象にし、一度に少数の指摘だけを出す。

    2. メモリを与えて、各サイクルで前回の指摘が修正されたか確認できるようにする。

    3. 人間のレビュアーのヒューリスティクスをエンコードした正規のドキュメントにアクセスさせる。私はこれらをツール呼び出しとして公開し、テレメトリで追跡できるようにした。

    4. 複数のレビュアーを実行し、それぞれに厳密な焦点を与える。セキュリティ、パフォーマンス、構造、データベースなど。それぞれ別のプロンプトとペルソナ。さらに、ファイルアクティベーションフィルタを設けて、FEのReactレビュアーがBEのみの変更で起動しないようにした。

    推論なしのLunaと5.4-miniは驚くほど高速で、OpusやFableが生成したコードの問題をほぼ常に見つけた。

    興味がある人向けのデフォルトプロンプト(これらはデフォルトでデプロイされるテンプレートだが、カスタマイズ可能)。

    パフォーマンス: https://github.com/zeeq-ai/zeeq-app/blob/main/src/backend/Ze...

    構造: https://github.com/zeeq-ai/zeeq-app/blob/main/src/backend/Ze...

    (各エージェントには外部ドキュメントにアクセスして参照するツールもあることを覚えておいてほしい。)

  6. gregwebs

    彼らはLunaで十分だと言っているが、指摘の精度は74%で、Astraは96%だ。偽陽性に対処するのは高くつく。

    私は、AIがプロセスの一部として自分でレビューを行うことが生産性の鍵だと分かってきた。明確に定義されたレビュー基準を用いて、複数の段階でサブエージェント(新鮮なコンテキストでのレビュー)を実行している。OpenAIやClaudeのAPI課金でこれをやると本当に高くつく。DeepseekやOpenAI/Claudeの割引された月額プランなら、彼らがLunaとAstraの比較で言う28倍と同様の割引が得られ、はるかに高い品質を維持できる。

  7. rektomatic

    偽陽性には実際のコストがかかる。特にAIがレビューを読んでいる場合は。GPT-6 Astraがレビューを見て、たくさんの偽陽性を見つけたら、それを見極めるためにトークンを消費することを考えてみてほしい。

  8. amluto

    この記事は非常に重要な詳細を欠いている:ハーネスは何をしているのか?

    最近のOpenAIモデルをcodex-rsハーネスでPRのビルド済みチェックアウトに向けて使うと、驚くほど良い結果が得られる。モデルは利用可能なツール(つまりシェル)を使ってリポジトリを理解する。偽陽性も偽陰性もいくつかあるが、はるかに能力の低いハーネスで同等のパフォーマンスが得られるとはとても思えない。(また、モデルは短いAGENTS.mdを読んで状況を把握する。私が使うプロンプトは1文程度だ。内蔵のレビューツールは使っていない。)

この日のほかの記事

2026-09-14