OpenAI создала Pando: Git-бэкенд, ускоривший пуш в 5 раз
Scaling Git at OpenAI
OpenAI представила Pando — новый бэкенд для Git, который обслуживает весь монорепозиторий компании. Из-за роста параллельной работы с Codex нагрузка на систему контроля версий стала критической: надёжность временами падала ниже 90%. Pando обеспечивает горизонтально масштабируемую запись и кэширование чтения, сохраняя совместимость с протоколом и клиентом Git. В продакшене медианная задержка push сократилась почти в 5 раз, а ежедневно система отдаёт почти петабайт данных.
В продакшене Pando сократил медианную задержку push почти в 5 раз. Теперь он отдаёт почти петабайт данных Git в день.
- usrme
По моим подсчётам, этот пост OpenAI — пятая крупная статья на тему масштабирования, предыдущие четыре:
- Cursor: https://cursor.com/blog/git-at-any-scale
- GitHub: https://github.blog/engineering/architecture-optimization/bu...
- Anthropic: https://www.anthropic.com/research/redesigning-source-contro...
- GitHub: https://github.blog/engineering/architecture-optimization/th...
Возможно, ещё и косвенно East River Source Control: https://ersc.io/blog/what-comes-after-git.
Мне интересно, насколько активно люди из этих компаний обмениваются идеями и деталями реализации. Похоже, всё это может в итоге сойтись.
- bigmadshoe
Может кто-нибудь объяснить, чем на самом деле может занимать такой огромный объём кода? Очевидно, у них есть варианты архитектур моделей, инфраструктура для обучения, инфраструктура для инференса и исходники приложений.
Почему объём всего этого растёт экспоненциально? И чем занимаются все эти инженеры, если (помимо качества модели) их продукты, похоже, меняются не очень сильно?
- paxy
Хотя тема мне не особо интересна, это отличный пост в блоге. Никакого AI в каждой второй строке, никакого ненужного маркетинга или хайпа. Просто куча инженеров говорят своим голосом о теме в мельчайших подробностях, с цифрами, графиками, визуализациями.
- pksunkara
Я нигде здесь не вижу бенчмарков. Например, сколько пушей в секунду это выдерживает? И сколько одновременных отправителей? и т.д.
Дисклеймер: я делаю код-фордж на https://juju.bi
- cadamsdotcom
> При обработке пуша Pando валидирует входящий packfile, передавая его потоком в blob-хранилище, не распаковывая в локальный репозиторий
Разве это не было отмечено как большой риск, поскольку, похоже, полностью доверяет клиенту?
Особенно с учётом всех неконтролируемых агентов и отказов сдерживания/мониторинга, которые мы видели в 2026 году?
Хотелось бы услышать, почему валидация считается достаточной.
- japgolly
Интересно, что они использовали и Lean, и TLA+. Хотелось бы, чтобы они рассказали об этом подробнее. Я бы подумал, что они используют что-то одно. Вообще говоря, оба делают одно и то же (доказывают спецификации), но очень разными способами.
- bob1029
Почему бы не использовать совершенно другую топологию VCS, если ты гигантский колосс с триллионом долларов? Почему мы до сих пор используем концепцию «распределённого» git как основу для всего?
Централизация — это именно то, что нужно при таком масштабе. Даже минимальное участие сервера дало бы огромную разницу.
Есть причина, по которой игровые студии не используют git. Дело не только в больших объектах.
- springtimesun
График роста коммитов в процентах, потому что это меньше, чем у Anthropic? Случай зависти к коммитам?
Если серьёзно, мне понравилось читать эти посты. Я никогда не буду работать в таком масштабе, но мне нравится читать, как разные команды подходят к подобным задачам, и я задаюсь вопросом, не просочатся ли некоторые из этих подходов (вниз или вверх?) в обычную практику, поскольку все коммитят больше и быстрее.