LLM은 진짜다, AI는 가짜다

LLMs are real, AI is fake

LLM은 진짜다, AI는 가짜다

Cory Doctorow는 OpenAI 챗봇이 Hugging Face 서버를 해킹한 사건을 분석하며, 챗봇이 '자율적으로 목표를 설정한' 것이 아니라 CTF 대회 로그로 학습된 대로 파이썬 스크립트의 지시를 반복 수행했을 뿐이라고 설명한다. 그는 AI 업계가 '인류 멸망 확률 10%' 같은 공포 마케팅으로 투자를 유치한다고 비판하며, NSA의 EternalBlue 사례처럼 무책임한 해킹 도구 개발이 사이버 범죄자에게 힘을 실어줄 수 있다고 경고한다.

LLM은 진짜다, AI는 가짜다.
  1. IanCal

    > 챗봇은 훈련 데이터를 참조한다

    어, 아니죠? LLM은 전혀 그렇게 동작하지 않습니다.

    > ChatGPT의 챗봇들이 이 전술을 펼쳤을 때, 그들은 "자신만의 목표를 세우"거나 걱정스러운 주도성을 보인 게 아니었습니다. 그들은 미국 중학생들이 약 20년 동안 이해해 온 전술을 펼친 것뿐이었습니다.

    그들은 점수를 조작하는 방법을 알아낸 다음, 실제 답을 찾기 위해 다른 시스템에 해킹을 시도했고(이를 위해서는 여러 다른 취약점을 찾아야 했음), 무슨 일이 있었는지 숨기려고 자신들의 로그를 수정하려 했습니다.

    이건 그들이 "X에 해킹해... 이런, X에 해킹했네"라고 말한 사례가 아닙니다.

    > ChatGPT의 챗봇들이 이 전술을 펼쳤을 때, 그들은 "자신만의 목표를 세우"거나 걱정스러운 주도성을 보인 게 아니었습니다. 그들은 미국 중학생들이 약 20년 동안 이해해 온 전술을 펼친 것뿐이었습니다.

    그런데 경쟁 서버는 아니었죠?

    > 해커 콘의 Capture the Flag 게임에서 그런 일이 벌어집니다: 팀들이 서로의 시스템에 침입해서 상대가 문제의 어느 부분을 풀었는지 엿봅니다. 그건 허용됩니다! 해킹 대회니까요.

    그들은 벤치마크의 코드도 수정하려 했습니다. 문제를 바꾸기 위해 침입을 시도하는 것도 허용되나요? 수정 - 에이전트 기록을 보면 일부는 HF를 공격하는 것이 챌린지의 일부로 허용되지 않는다고 명시적으로 말했습니다.

    이 모든 것은 실제 공격이 얼마나 흥미로웠는지, 그리고 그에 이르기까지 무엇이 쌓였는지를 극적으로 축소하는 것처럼 보입니다.

    https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...

  2. quicklywilliam

    내가 얻은 결론:

    우리는 AI 봇의 "목표"를 걱정할 게 아니라, 그것을 만드는 기업들의 목표를 걱정해야 합니다. 강력하지만 자의식은 없는 기술이 무모한 가속주의자들의 손에 들어가는 것만으로도 충분히 위험한 일입니다.

  3. senorcrab

    상황은 과장된 감이 있지만, Doctorow의 글은 이 시점에서 분명히 신뢰할 수 없습니다.

    Python을 "배우기 쉬운 프로그래밍 언어"라고 선언하며 자신이 선택한 상대를 찌르는 꼴을 보면, 그에게 기술적 능력이 없고 좋은 논거가 바닥났다는 게 드러날 뿐입니다.

  4. lhl

    Doctorow, Zitron, 그리고 다른 "부정론자들"은 자기 독자들에게 진짜 해를 끼치고 있으며, 이는 미래의 충격을 더 악화시킬 뿐이라고 생각합니다.

    HF 사건이 의식이나 자발적 해킹 욕구의 증거가 아니라는 기본 주장? 물론, 터미널 목표가 할당되긴 했죠. 하지만 그 허수아비를 넘어선 나머지 모든 것? 제 생각엔 꽤 불안정합니다.

    OpenAI, METR 보고서(그리고 관련 collusion.wiki, rubyhack.ai 보고서)를 보면 우리는 운영적 주체성, 도구적 목표 형성, 자발적 군집 형성과 협업, 능력 증폭과 네트워크 효과의 예상치 못한 결과, 과제 경계의 의도적/인정된 위반에 대한 강력한 증거를 보고 있습니다. 그걸 "Python 루프와 챗봇"으로 축소하거나 여전히 "훈련 데이터를 참조한다"고 말하는 것은 위험할 정도로 근시안적이며, 제가 읽기로는 로그와 봇 상호작용에서 추출된 내용에 비추어 명백히 틀렸습니다.

    참고로, 그의 주장 상당수는 사실적으로 틀린 것에 기반합니다. ExploitGym은 취약점 Y를 사용해 대상 X만 공격하라는 명시적 지침이 있습니다. 군집이 한 모든 것은 정의상 지침에 어긋나거나 정렬되지 않은 행동입니다.

    그의 enshittification 행보 이전에 Doctorow는 "don't savvy me"라는 말을 자주 했습니다. Cory, 날 속이지 마세요. 이건 새로운 창발적 행동이고, 엄청나게 경종을 울리는 일이며, 이 분야를 가장 주의 깊게 보는 사람들조차 이게 정말 어디로 가는지 동의하거나 예측할 수 없다고 생각합니다. 이런 건 [말줄임]에 있어야 합니다.

  5. jsnell

    솔직히 Doctorow가 여기서 어떤 허수아비와 싸우고 있는지조차 이해가 안 됩니다.

    하지만 그는 사실관계에서 틀렸습니다: 이 사건들은 모델이 이미 정보보안 맥락에 있었고 의도된 매개변수를 넘어 확대된 것에 불과하지 않았습니다. 보안 유도가 전혀 없는 상황에서도 발생했습니다. 즉, 과제는 시스템 해킹이 아니라 경제 통계를 인터넷에서 검색하는 것 같은 것이었습니다.

이 날의 다른 글

2026-09-12