Gemini 4 Carbon, 버그 하나 고치는 데 왜 한 시간씩 걸릴까

Why is Gemini 4 Carbon taking so long?

Gemini 4 Carbon, 버그 하나 고치는 데 왜 한 시간씩 걸릴까

kernel.dev가 Gemini 4 Carbon을 자체 평가에서 돌려보니, Opus와 Astra가 몇 분이면 끝내는 버그 수정 작업에 거의 한 시간을 썼다. 실행 흔적을 단계별로 분석한 결과 느린 추론이 차이의 16~30%를 설명하고, 나머지는 대부분 불필요한 작업이었다. Carbon은 단계 수가 Astra의 약 7배, 도구 호출은 11배였고, 전체 단계의 절반가량을 티켓이 요구하지 않은 코드 감사와 이미 배제된 예외 처리에 썼다. 같은 파일을 반복해서 다시 읽는 비효율까지 더해졌다.

Carbon이 원인을 파악하지 못한 것인지(지식의 공백), 아니면 알고도 계속 진행한 것인지(정답에는 보상을 주고 추가 단계에는 거의 벌점을 주지 않는 훈련에서 학습된 일반적 습관)를 구별하기 위해, 우리는 5턴마다 동일한 확인 질문을 자동으로 주입하는 수정된 harness에서 실험 중 하나를 다시 실행했다.
  1. tristanj

    Gemini 4 Carbon이 토큰 효율적이지 않다는 건 꽤 명백하다. 다른 모델들에 비해 초당 토큰 수(tokens-per-second)도 상대적으로 낮다. 왜 그런지 몇 가지 이유를 생각해볼 수 있다:

    1. Google은 막대한 현금과 컴퓨팅 파워를 보유하고 있다. 그들의 목표는 효율적으로 실행하고 서빙하는 모델을 만드는 것이 아니라, 최고 품질과 최전선 성능을 가진 모델을 훈련하는 것이었다. 그런 용도로는 Hydrogen 같은 다른 모델들이 있다.

    2. Google은 추론 비용을 신경 쓰지 않고 Carbon을 만들었다. DeepMind는 Google 제국의 나머지 부분으로부터 보조금을 받는다. 추론 판매는 Google 매출에서 미미한 부분이다. 하지만 Anthropic과 OpenAI에게 추론 판매는 전체 비즈니스 모델이다. Anthropic과 OpenAI는 가능한 한 많이, 가장 효율적인 방식으로 추론을 판매할 엄청난 유인이 있다. Google에는 이런 유인이 없다.

    3. 그들은 비효율적일 수 있는 몇 안 되는 회사 중 하나다. 모든 최전선 연구소 중에서 Google DeepMind는 아마 컴퓨팅 제약을 가장 적게 받을 것이다. 중국 연구소들은 컴퓨팅이 10배에서 100배 정도 적기 때문에 고도로 최적화된 모델을 내놓아야만 한다.

  2. horacemorace

    오늘 코딩 좀 해보려고 이걸 써봤는데 엄청 느렸다. 그런데 문제를 가볍게 풀어가면서도 합리적인 아키텍처로 이끌어가는 방식은 Claude의 불도저 같은 태도에 비하면 신선하다. 이미 해둔 작업에 반복적으로 슬금슬금 들어오는 스코프를 잘 통합했다. Sonnet/Opus, 심지어 Gemini 3.8과도 느낌이 아주 다르다.

  3. hetspookjee

    이 스레드에서 유일할지도 모르겠지만, Gemini 4 Argon 이후로 나는 Google 모델의 열렬한 팬이 되었다. Carbon이 나온 뒤로는 대부분 Carbon을 쓰지만, Argon으로 다시 점점 돌아가고 있다는 걸 느낀다. 큰 차이는 없다. 보안 목적에서는 Argon의 트리거가 훨씬 적다.

    나는 Google 모델을 말하고 분석하는 방식의 오케스트레이터로만 쓴다. 모든 위임은 Astra / Fable / Opus 모델들에게 맡긴다.

  4. lmeyerov

    1년 반 동안 Claude Code 맥스 플랜과 Codex에 해당하는 걸 쓰다가 Google agy와 그 모델들로 넘어오니 당황스럽고 혼란스럽다.

    내 흐름은 대략 며칠이면 Claude 구독을 다 쓰고, 며칠이면 Codex를 다 쓰고, 반나절이면 agy를 다 쓴다.

    같은 저장소+스킬에서 Codex와 Claude Code를 오갈 때 Astra/fable, sol/opus, sonnet/Luna는 대체로 호환되는데... Google 모델과 agy를 쓸 때는 그렇지 않았다.

    다음 단계는 agy 하네스를 버리고 codex/opencode로 가서 모델은 괜찮은데 agy가 문제인지 확인하는 것일 수도 있다.

  5. timtam

    프롬프트 상자로 사용하면서 계속 500 INTERNAL (TURN_STEPS_EXCEEDED)에 부딪혔다.

    Gemini가 이 응답을 완료하지 못했습니다

    죄송합니다. 이 요청은 제때 완료하기에 단계가 너무 많았습니다. 더 구체적인 질문을 하시거나 더 작은 요청으로 나눠주세요.

    노력 예산(effort budget)이나 중지 규칙(stopping rule)을 엄격히 설정해야만 이 문제를 피할 수 있었다.

  6. Lerc

    Theo의 영상에서 첫 토큰까지의 시간(time to first token) 문제가 있다고 한다. 서브에이전트 작업을 할 때 내부의 짧은 쿼리들이 많이 쌓여서 엄청나게 증폭될 수 있다.

    정말로 단순히 비효율적인 것보다 뭔가 고장난 것처럼 보인다.

  7. WeZZard

    직접 해보진 않았지만 어떤 사람들은 VertexAI로 서빙되는 Gemini 4 Carbon이 더 빠르다고 한다.

  8. dada216

    이 스레드에서 말하는 건 최대 출력 토큰이 100만 개라는 점이다.

    다른 모델들(Opus 5.5는 128k)보다 훨씬 앞선다.

이 날의 다른 글

2026-11-18