OpenAI, Git 백엔드 Pando로 푸시 지연 5분의 1로 줄여
Scaling Git at OpenAI
OpenAI가 Codex로 인해 폭증한 모노레포 부하를 해결하려고 Git 호환성을 유지한 채 새로운 백엔드 Pando를 직접 구축했다. 브랜치별 업데이트를 독립적으로 조율하고 packfile을 재사용해 쓰기와 읽기를 동시에 확장했으며, 프로덕션에서 중앙값 푸시 지연을 약 5배 줄이고 하루 거의 1페타바이트의 Git 데이터를 처리한다. 기존 3PC나 WAL 방식의 병목을 분석하고 인과적 일관성 모델을 택한 이유도 설명한다.
프로덕션에서 Pando는 중앙값 푸시 지연을 거의 5배 줄였고, 이제 하루에 거의 1페타바이트의 Git 데이터를 전송한다.
HN 토론
174- usrme
내가 세어보면, 이 OpenAI 글은 스케일링 주제에 관한 다섯 번째 주요 아티클이다. 앞선 네 개는 다음과 같다:
- Cursor: https://cursor.com/blog/git-at-any-scale
- GitHub: https://github.blog/engineering/architecture-optimization/bu...
- Anthropic: https://www.anthropic.com/research/redesigning-source-contro...
- GitHub: https://github.blog/engineering/architecture-optimization/th...
아마 East River Source Control의 글도 간접적으로 관련 있을지도: https://ersc.io/blog/what-comes-after-git.
이 회사들에서 일하는 사람들 사이에 아이디어의 교차 수분과 그에 따른 구현 세부 사항이 얼마나 되는지 궁금하다. 이 모든 것이 잠재적으로 수렴할 수 있을 것 같다.
- bigmadshoe
이 방대한 양의 코드가 실제로 무엇을 하는지 설명해 줄 수 있는 사람 있나? 그들은 분명히 다양한 모델 아키텍처, 학습 인프라, 서빙 인프라, 그리고 앱 소스 코드를 가지고 있다.
왜 이 모든 것의 양이 기하급수적으로 증가해야 할까? 그리고 (모델 품질 외에는) 그들의 제품이 별로 변하지 않는 것처럼 보일 때 엔지니어들은 다들 뭘 하고 있는 걸까?
- paxy
이 주제에 특별한 관심은 없지만 이건 정말 좋은 블로그 글이다. 두 줄마다 AI 얘기가 나오지도 않고, 불필요한 마케팅이나 과대광고도 없다. 그저 여러 엔지니어들이 자신들의 목소리로 숫자와 차트, 시각화를 곁들여 한 주제에 대해 아주 자세히 이야기할 뿐이다.
- pksunkara
여기 어디에도 벤치마크가 안 보인다. 예를 들어 초당 몇 번의 푸시를 처리하는지? 동시 푸시하는 사람은 몇 명인지? 등등..
면책: 나는 https://juju.bi 에서 코드 포지를 만들고 있다.
- cadamsdotcom
> 푸시를 처리할 때, Pando는 들어오는 packfile을 blob 스토리지로 스트리밍하는 동안 검증하며, 로컬 저장소로 풀어놓지 않는다
이게 클라이언트를 완전히 신뢰하는 것 같아서 큰 위험으로 지적된 적이 있지 않았나?
특히 2026년에 우리가 목격한 모든 악성 에이전트와 격리/모니터링 실패를 고려하면?
검증이 어떻게 충분하다고 판단되는지 듣고 싶다.
- japgolly
Lean과 TLA+를 둘 다 사용했다는 게 흥미롭다. 그에 대해 더 이야기해 주면 좋겠다. 나는 둘 중 하나만 쓸 거라고 생각했다. 일반적으로 둘 다 같은 일(스펙 증명)을 하지만 아주 다른 방식으로 한다.
- bob1029
거대한 1조 달러 규모의 괴물이라면 왜 완전히 다른 VCS 토폴로지를 사용하지 않을까? 왜 우리는 여전히 '분산' git 개념을 모든 것의 기반으로 사용하고 있을까?
이 정도 규모에서는 중앙화가 바로 원하는 것이다. 서버의 아주 미미한 참여만으로도 큰 차이를 만들 것이다.
게임 스튜디오가 git을 사용하지 않는 데는 이유가 있다. 그것은 단지 큰 객체 때문만은 아니다.
- springtimesun
커밋 증가 그래프가 퍼센트인 이유는 Anthropic의 비율보다 적기 때문인가? 커밋 부러움의 사례인가?
진지하게 말하자면, 나는 이 글들을 읽는 것을 즐겼다. 나는 결코 이 규모에서 일하지 않겠지만, 다른 팀들이 이런 문제에 접근하는 방식을 읽는 것을 좋아하며, 모두가 더 많이 더 빠르게 커밋하는 상황에서 이런 접근 방식 중 일부가 일반 관행으로 스며들지(혹은 위로 올라가지?) 궁금하다.