OpenAI baut Git-Backend Pando: Push-Latenz fast fünfmal kürzer
Scaling Git at OpenAI
OpenAIs Monorepo stieß mit Codex an die Grenzen von Git: langsame Fetches, fehlgeschlagene Merges, Zuverlässigkeit teils unter 90 Prozent. Die Lösung ist Pando, ein neues Git-Backend, das Schreibvorgänge pro Branch parallelisiert und Packfiles über Fetches hinweg wiederverwendet. Es bleibt vollständig Git-kompatibel, halbiert die mediane Push-Latenz fast um den Faktor fünf und liefert täglich fast ein Petabyte Git-Daten aus. Der Beitrag erklärt, warum gängige Ansätze wie 3PC und Write-Ahead-Logs an ihre Grenzen stoßen.
In der Produktion senkte Pando die mediane Push-Latenz um fast das Fünffache. Es liefert inzwischen täglich fast ein Petabyte an Git-Daten aus.
- usrme
Nach meiner Zählung ist dieser OpenAI-Beitrag der fünfte große Artikel zum Thema Skalierung, wobei die vorherigen vier waren:
- Cursor: https://cursor.com/blog/git-at-any-scale
- GitHub: https://github.blog/engineering/architecture-optimization/bu...
- Anthropic: https://www.anthropic.com/research/redesigning-source-contro...
- GitHub: https://github.blog/engineering/architecture-optimization/th...
Vielleicht auch tangential East River Source Control: https://ersc.io/blog/what-comes-after-git.
Ich frage mich, wie viel Cross-Pollination von Ideen und anschließenden Implementierungsdetails es zwischen den Leuten gibt, die bei diesen Unternehmen arbeiten. Es scheint, als könnte all das potenziell konvergieren.
- bigmadshoe
Kann mir jemand erklären, was diese massive Menge an Code eigentlich tut? Sie haben offensichtlich Variationen von Modellarchitekturen, Trainingsinfrastruktur, Serving-Infrastruktur und den Quellcode für ihre Apps.
Warum sollte das Volumen von all dem exponentiell zunehmen? Und was machen all die Ingenieure, wenn sich ihre Produkte (abgesehen von der Modellqualität) nicht sehr zu verändern scheinen?
- paxy
Obwohl ich kein besonderes Interesse an dem Thema habe, ist das ein großartiger Blogbeitrag. Kein KI in jeder zweiten Zeile, kein unnötiges Marketing oder Hype. Nur ein paar Ingenieure, die mit ihrer eigenen Stimme ausführlich über ein Thema sprechen, mit Zahlen, Diagrammen und Visualisierungen.
- pksunkara
Ich sehe hier nirgends Benchmarks. Zum Beispiel, wie viele Pushes pro Sekunde verarbeitet das? Und wie viele gleichzeitige Pusher? etc..
Disclaimer: Ich baue eine Code-Forge unter https://juju.bi
- cadamsdotcom
> Beim Verarbeiten eines Push validiert Pando das eingehende Packfile, während es in den Blob-Speicher gestreamt wird, ohne es in ein lokales Repository zu entpacken
Wurde das nicht als großes Risiko gekennzeichnet, da es dem Client vollständiges Vertrauen zu schenken scheint?
Besonders mit all den rogue agents und Containment-/Monitoring-Fehlern, die wir 2026 gesehen haben?
Ich würde gerne hören, wie die Validierung als ausreichend erachtet wird.
- japgolly
Interessant, dass sie sowohl Lean als auch TLA+ verwendet haben. Ich wünschte, sie würden mehr darüber sprechen. Ich hätte gedacht, sie würden eines oder das andere verwenden. Im Allgemeinen tun beide dasselbe (Spezifikationen beweisen), aber auf sehr unterschiedliche Weise.
- bob1029
Warum nicht eine völlig andere VCS-Topologie verwenden, wenn man ein gigantischer Billionen-Dollar-Koloss ist? Warum verwenden wir immer noch das "verteilte" Git-Konzept als Grundlage für alles?
Zentralisierung ist genau das, was man bei dieser Größenordnung will. Die marginalste Beteiligung des Servers würde einen enormen Unterschied machen.
Es gibt einen Grund, warum Spielefirmen kein Git verwenden. Es geht nicht nur um die großen Objekte.
- springtimesun
Ist der Anstieg der Commits-Grafik in Prozenten, weil es weniger als die Rate von Anthropic ist? Ein Fall von Commit-Neid?
Im Ernst, ich habe es genossen, diese Beiträge zu lesen. Ich werde nie in dieser Größenordnung arbeiten, aber ich lese gerne, wie verschiedene Teams solche Probleme angehen, und ich frage mich, ob einige dieser Ansätze in die reguläre Praxis durchsickern (oder aufsteigen?) werden, da alle mehr und schneller committen.