OpenAIがGitを再構築、プッシュ遅延を5倍短縮し1日1ペタバイトを配信
Scaling Git at OpenAI
Codexによる並列開発の急増でモノレポのGitが限界に達し、信頼性は90%を下回ることもあった。OpenAIはGitプロトコルとクライアントの互換性を保ったまま、ブランチ単位で独立に書き込みを調整しpackfileを再利用する新バックエンドPandoを開発。中央値のプッシュ遅延を約5倍短縮し、1日あたり約1ペタバイトのGitデータを配信する。
Git自体の限界に達したのか、それともモノレポの提供方法に限界があったのか。
HNでの議論
175- usrme
私の数えでは、このOpenAIの投稿はスケーリングをテーマにした5番目の主要記事で、前の4つは次の通りです:
- Cursor: https://cursor.com/blog/git-at-any-scale
- GitHub: https://github.blog/engineering/architecture-optimization/bu...
- Anthropic: https://www.anthropic.com/research/redesigning-source-contro...
- GitHub: https://github.blog/engineering/architecture-optimization/th...
おそらくEast River Source Controlのも間接的に関係しているでしょう:https://ersc.io/blog/what-comes-after-git
これらの企業で働く人々の間で、アイデアやその後の実装詳細がどれだけ相互に影響し合っているのか気になります。これらすべてが潜在的に収束する可能性があるように思えます。
- bigmadshoe
この膨大な量のコードが実際に何をしているのか、誰か説明してくれませんか?彼らは明らかにモデルアーキテクチャ、トレーニングインフラ、サービングインフラ、そしてアプリのソースコードのバリエーションを持っています。
なぜこれらの量が指数関数的に増えているのでしょうか?そして、エンジニアたちは(モデルの品質以外で)製品があまり変わっていないように見えるとき、いったい何をしているのでしょうか?
- paxy
この話題には特に興味がないのですが、これは素晴らしいブログ記事です。2行ごとにAIが出てくるわけでもなく、無駄なマーケティングや誇大広告もありません。ただエンジニアたちが自分の言葉で、数字やチャート、視覚化を交えながら詳細に語っているだけです。
- pksunkara
ここにはベンチマークがどこにも見当たりません。例えば、1秒間に何回のプッシュを処理できるのか?同時にプッシュするユーザーは何人までか?などです。
免責事項:私は https://juju.bi でコードフォージを構築しています。
- cadamsdotcom
> プッシュを処理する際、Pandoは受信したpackfileをローカルリポジトリに展開することなく、blobストレージにストリーミングしながら検証します
これはクライアントを完全に信頼しているように見えるため、大きなリスクとして指摘されなかったのでしょうか?
特に2026年に見られたような、悪意のあるエージェントや封じ込め・監視の失敗が多発する中で?
どのようにしてこの検証が十分と見なされるのか、ぜひ聞きたいです。
- japgolly
LeanとTLA+の両方を使ったのは興味深いですね。もっとその話を聞きたかったです。どちらか一方を使うと思っていました。一般的に言えば、両方とも同じこと(仕様の証明)をしますが、方法は大きく異なります。
- bob1029
なぜ巨大な兆ドル企業なら、全く異なるVCSトポロジーを使わないのでしょうか?なぜ今も「分散型」gitの概念をすべての基盤にしているのでしょうか?
この規模では集中化こそがまさに望ましいものです。サーバーからのわずかな関与でも大きな違いを生むはずです。
ゲームスタジオがgitを使わないのには理由があります。それは単に大きなオブジェクトの問題だけではありません。
- springtimesun
コミット数の増加グラフがパーセント表示なのは、Anthropicの率より少ないからでしょうか?コミット嫉妬の事例?
真面目な話、これらの投稿を読むのは楽しかったです。私はこのような規模で働くことは決してないでしょうが、異なるチームがこのような問題にどう取り組むかを読むのは好きですし、みんながより多く、より速くコミットするようになるにつれて、これらのアプローチのいくつかが通常の実践に浸透する(あるいは上に?)のかどうか気になります。