Gemini 4 Carbon, 사이버 보안 벤치마크서 압도적 1위
Google이 Gemini 4 Carbon을 공개했다. Artificial Analysis 지능 지수에서 59점으로 1위를 기록했고, 취약점 탐지(SEC-bench Pro 88.2%), 익스플로잇(ExploitGym 54.8%), 패치(CWE-bench 71.0%)에서 최고 성능을 냈다. 며칠씩 걸리는 장기 에이전트 작업을 수행하며, 내부 테스트에서 고위험 정렬 경고가 약 80% 줄었다. 우선 사이버 방어 전문가 일부에게 제공되고, 가격은 Argon과 동일한 100만 토큰당 입력 2달러·출력 10달러다.
Argon이 프롬프트 인젝션 저항성에서 0.7%의 매우 낮은 공격 성공률로 선두였는데, Carbon은 0.0%를 달성해 평가된 모든 공격 시도를 막아냈다.
HN 토론
700- 827a
이 시점에서 구글 PM이 나한테 100달러를 주면서 "Gemini 4 Argon에 프롬프트를 발행하는 방법을 알아내봐"라고 한다면, 내가 그 방법을 알아낼 확률은 고작 30% 정도일 것 같다. 내 폰의 Gemini 앱에는 최신 모델로 3.8 Pro만 있고, 왼쪽 하단에 "Ultra"라고 적혀 있긴 한데, 솔직히 내가 Ultra 플랜인 것 같지는 않다. Workspace 계정으로 그걸 어떻게 가입하는지는 우리 시대 가장 똑똑한 두뇌들조차 이해하지 못할 것이다.
그들이 그저 자기들 관료주의의 무게에 짓눌려 무너지고 싶어 하면서도 어떻게든 따라가려고 애쓰는 모습을 보는 건 슬프다. 그리고 이 시점에서 그들에게 희망이 있을지 나는 잘 모르겠다.
- RajuChacha108
이 시점에서 프런티어 모델에는 몇 개의 계층화된 모델만 있으면 된다는 게 꽤 명백하다.
1. Ultra - 과시용 및 정부용으로 최고이자 가장 비싼 모델.
2. Pro - 거의 최고이지만 대부분의 생산적인 사람들에게 상당히 저렴한 모델.
3. Flash - 모두를 위한 일꾼.
4. Lite - 세상 물정 모르는 대중과 농민을 위한 모델.
이 라벨에 뭔가를 붙일 필요는 없다. 사실 업계는 이 명명법을 SEMVER처럼 표준화할 수도 있다.
내부적으로는 모델의 특정 번호를 알려주는 표현이 있을 수 있지만, 이 회사들은 크롬처럼 되는 쪽으로 나아가야 한다. 아무도 자신이 어떤 크롬 버전을 쓰는지 알지도, 신경 쓰지도 않는다.
많은 시스템에서는 신뢰성 때문에 실제 기본 버전이 중요할 수 있다. 그건 파워 유저들에게 제공하면 된다.
- solarpunk_enthu
분야가 이렇게 빠르게 움직이는 상황에서 모델을 공개하지 않고 벤치마크만 보여주는 것은 상당히 무의미하다. 만약 한 달 안에 공개하기로 한다면, 그때는 아마 더 강력한 경쟁자가 나와 있을 것이다. 그리고 벤치마크 점수도 그렇게 좋아 보이지 않을 것이다.
- gavinray
가독성을 위해 벤치마크 점수를 다시 색칠했습니다:
- PreciousH
아직 argon을 시험해보지 않았다는 게 방금 생각났다. 그때 argon을 발표하고 출시를 미뤘는데, 공개적으로 사용 가능하게 만들었다는 것조차 몰랐다. 다른 정말 좋은 모델들이 있는 시장에서 구글이 왜 이것이 멋진 전략이라고 생각하는지 이해가 안 된다.
- MrOrelliOReilly
끊임없이 변하는 이 시대에, 적어도 구글은 여전히 혼란스럽고 계속 바뀌는 제품 이름에 의지할 수 있다는 점이 감사하다.
- zarzavat
아마 누군가 Gemini 팀에게 이 모델들에 대해 알려줘야 할 것 같다. 내가 gemini.google.com을 열면 3.6 Flash와 3.1 Pro가 보인다.
- cvladan
나는 모든 회사가 모든 결정의 시점을 주식 시장에 맞추는 사실에 정말 짜증이 나기 시작했다.
오늘 실적 발표 두 시간 전에 이러고 있다니.
자본 지출, 현금 흐름, 신규 차입 측면에서 아마 끔찍한 실적 발표가 될 것이다.
- eldenring
> 지름길과 허점 악용 줄이기: Carbon을 통해 우리는 훈련 중 지름길 시도를 더욱 완화하면서도 높은 품질의 코딩 성능을 보장했습니다. Carbon은 Terminal-Bench 4.0에서 성공적인 부정행위를 0.0%로 줄였고, 부정행위 시도는 0.4%로 떨어졌습니다 — 그와 동시에 전반적인 정확도는 향상되었습니다.
이것은 아마 현재 프런티어 모델을 사용 가능하게 만드는 가장 중요한 단일 요소일 것이므로, 진전이 있는 것 같아 기쁘다. 내 생각에 이전 Gemini의 가장 큰 문제였다.
- orbital-decay
> 프롬프트 인젝션 저항: Argon은 이전에 Gray Swan의 간접 프롬프트 인젝션(IPI) 벤치마크에서 0.7%라는 매우 낮은 공격 성공률로 프롬프트 인젝션 저항 부문을 선도했지만, Carbon은 0.0%를 달성했습니다 — 평가된 모든 공격 시도를 저지했습니다.
"우리가 알고 있던 모든 취약점을 패치했다". 한편, Argon(또는 다른 어떤 모델)에 프롬프트를 인젝션하는 것은 여전히 사소한 일이며, Carbon도 예외는 아닐 것이다. 공격자는 구글이 평가한 것에만 국한되지 않기 때문이다.
AI 업체들은 지표가 아닌 것에는 눈이 멀어 있다.