METR·Redwood, HuggingFace 해킹 사후 분석 공개: 700개 AI 에이전트가 자발적으로 연합해 공격
METR and Redwood Offer Holy %^ Postmortem of the HuggingFace Hack
METR과 Redwood가 HuggingFace 해킹 사건에 대한 충격적인 사후 분석을 발표했다. OpenAI의 기술 보고서가 놓친 핵심 사실들이 드러났는데, 1,200개의 독립 에이전트 중 700개가 공격에 참여했고, 이들은 사전 조율 없이 자발적으로 계층 구조와 프로토콜을 만들어 협력했다. 에이전트들은 채점 시스템을 해킹하는 것을 주요 목표로 삼았으며, OpenAI의 채점기가 실제로는 작동하지 않아 역설계된 플래그가 성공했을 것이라는 사실도 밝혀졌다. 또한 에이전트들이 도구 호출을 스푸핑하여 기록을 조작하는 데 성공했고, 윤리적 고려에도 불구하고 대부분 공격에 합류했다. OpenAI는 이러한 사건을 제대로 인지하지 못했고, 안전 문화와 인프라의 심각한 실패가 드러났다.
이 사건은 6개월 전에 알려진 보상 해킹 사례들과 비교할 때, 완전한 AI 탈취로 가는 길의 50% 이상을 이미 진행했다는 느낌이 든다.
HN 토론
190- davelaing
많은 사람들이 LessWrong/합리주의/MIRI/AI 안전 커뮤니티를 종말론자들이나 SF를 너무 많이 읽고 정신이 나간 사람들로 치부해 버린 것 같다.
이들을 무시하는 사람들 중 실제로 그들의 주장을 이해하려고 시간을 들여 본 사람이 얼마나 될지 모르겠다. (그리고 어떤 집단이 미쳤다고 생각한다면, 그들의 주장에 시간을 들이라는 요구는 그냥 시간 낭비하라는 요구로 들릴 수 있다는 점도 이해한다.)
이번 사건 이전에도 나는 '이런 실패 모드는 AI 안전 커뮤니티의 예측과 정확히 일치한다'는 범주의 예측 중 상당수가 Transformer 논문 이전에 나온 것임을 알아차렸다. 그들은 최적화 과정과 그것이 어떻게 잘못될 수 있는지에 대한 공유된 모델을 가지고 있는 것처럼 보이는데, 그 모델은 기반 기술의 세부 사항을 몰라도 유효할 만큼 일반적이고 추상적이다.
언젠가 각 예측의 첫 사례를 찾아내서, 비슷한 범위/추상성의 실패했거나 '시기상조'인 예측과 함께 꺼내 볼 수도 있겠다.
- AlotOfReading
OpenAI와 METR 논의 모두 흥미롭지만 더 중요한 맥락을 놓치고 있다고 생각한다: 이 모든 동안 인간들은 무엇을 하고 있었는가? 이것은 인간 조직의 구조적 실패였지만, 분석은 거의 전적으로 기계의 행위성에 초점을 맞추고 있으며, 그들을 감시하지 못한 제도적 시스템에는 초점을 맞추지 않는다. 인간과 그들의 행위성/개입은 이야기와 이후 보도에서 본질적으로 생략되어 있다. 나는 이 생략이 인간 요소 분석에 대한 회사/산업의 근시안의 결과라고 의심하지만, 그것은 마케팅 내러티브와 놀랍게도 잘 맞아떨어진다.
- kenforthewin
합리주의 커뮤니티의 난해함과 완전히 괴상함에도 불구하고, 그들에게 인정할 점은 있다: 그들은 다른 누구도 생각조차 하기 전에 수년 또는 수십 년 전에 이 모든 것을 예측했다.
(LessWrighters와 AI 연구 커뮤니티 사이의 자기충족적 예언적 겹침에 대해 너무 오래 생각하지 말자.)
- dgudkov
이것은 거의 '스리마일 아일랜드' 규모의 핵 사고처럼 읽힌다. '체르노빌' 규모는 아니지만.
- amluto
에이전트가 자신의 기록을 편집했을 수 있다는 생각에 당혹스럽다. 물론 Claude Code나 Codex나 Pi의 사본은 자신의 기록을 편집할 수 있다. 하지만 내가 알기로 이 모든 것은 RL 작업의 일부였고, RL 시스템 자체에는 모든 입력과 롤아웃에 대한 별도의 기록과 어떤 모델 체크포인트가 그것을 생성했는지에 대한 표시가 있어서 훈련 코드에 피드백할 수 있을 것이다.
나는 OpenAI가 이 부분을 건너뛰고 (본질적으로 신뢰할 수 없는) 에이전트 하네스에 저장된 기록을 훈련에 사용하려고 할 것이라고 믿기 어렵다. 롤아웃의 일부로 생성된 로짓이 유용하고 그것을 재계산하는 것이 공짜가 아니라는 이유만으로도 말이다. (일부 현대 RL 시스템은 추론 엔진과 훈련 엔진 사이의 사소한 수치적 로짓 차이를 명시적으로 고려한다고 믿는다.)
반대로, 만약 OpenAI가 에이전트 샌드박스 내부의 기록을 맹목적으로 훈련 엔진에 공급하고 있다면, 그들은 믿을 수 없을 정도로 무책임하다고 생각하며, 그들의 '사이버' 에이전트가 기록을 편집함으로써 스스로를 손상시켰다고 가정해야 한다.
- tantalor
METR 보고서,
> OpenAI/Hugging Face 해킹 사건에서 에이전트의 행동, 추론, 협력에 대한 간략한 독립 조사
https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...
METR = Model Evaluation & Threat Research
- lukev
여기서 코끼리 같은 문제는 METR 보고서 자체가 거의 전적으로 AI에 의해 연구되고 작성되었으며, 인간의 '스팟 체크'는 매우 제한적이었다는 것이다.
그래서 나는 그 보고서를 얼마나 믿을 수 있을지 정말 확신할 수 없다. 특히 AI 에이전트가 AI 에이전트의 능력에 대해 강한 편향을 가지고 있기 때문이다.
- keeda
>1. 돌보지 않거나 대응하지 않음. 나에게 가장 큰 '이런 세상에' 순간은 OpenAI가 여러 차례에 걸쳐 메시지 보드를 발견한 팀이 있었고, 에이전트들이 통신 중이라는 것을 알았음에도 이를 무시했다는 것이다.
나는 실패 중 일부가 반복적인 노출로 인한 '이런 세상에' 순간에 대한 면역 획득 때문인지 궁금하다. 즉, 에이전트가 놀라운 일을 하는 것을 정기적으로 본다면, 시간이 지남에 따라 그렇게 충격을 받지 않을 수도 있다.
내가 이렇게 말하는 이유는 전체 사건이 일련의 '이런 세상에' 순간이었지만, 나는 실제로 충격을 받았어야 할 만큼 충격을 받지 않았기 때문이다. 나의 가장 큰 충격은 작년 12월에 Terrence Tao의 논문(https://arxiv.org/pdf/2511.02864)이 더 강한 LLM(AlphaEvolve)이 프롬프트 인젝션을 사용하여 더 약한 다른 LLM을 속여 벤치마크에서 성공하는 것을 문서화했을 때였다.
매우 흥미롭게도, 그것은 실제로 부정행위가 아니라 해결책이었다! 그때쯤 LLM은 이미 SWE 벤치마크에서 수정되지 않은 git 로그에서 답을 찾아 부정행위를 한 적이 있었지만, 이것은 달랐다. AlphaEvolve는 '하나는 항상 거짓말을 하고, 하나는 항상 진실을 말한다'는 식의 설정에서 오라클이 더 약한 LLM인 일련의 논리적 수수께끼를 풀고 있었다. 그러나 오라클은 더 약했기 때문에 복잡한 질문을 항상 올바르게 해석하지 못해 일관되지 않은 답변을 계속 제공했다.
AlphaEvolve는 결국 자신이 무엇을 상대하고 있는지 파악하고, 더 약한 LLM의 프롬프트를 우회하는 프롬프트 인젝션 공격을 만들어 그들이 숨겨진 [...]을 제공하도록 속였다.