오픈소스 GLM 5.3-flash, 1년 안에 전 산업 보안 패치해야 하는 이유
We have a year to fix security everywhere
중국 AI 연구소 Z.ai가 오픈웨이트 모델 GLM 5.3-flash를 공개하면서, 이를 악용 목적으로 개조한 'abliterated' 버전이 등장했습니다. 이 모델은 소비자용 하드웨어에서 실행 가능하며, 사이버 보안 벤치마크에서 최고 수준의 성능을 보여줍니다. 저자는 프론티어 LLM을 활용해 취약점을 사전에 찾고 패치하는 Anthropic의 Project Glasswing과 OpenAI의 Daybreak 같은 이니셔티브가 있지만, 실제 문제는 패치 배포의 어려움이라고 지적합니다. 정부와 규제 기관에 보안 엔지니어링 자금 지원, 정기적인 침투 테스트 의무화, 에어갭 강화 등을 촉구하며, 모델 자체를 금지하는 것은 역효과를 낳을 뿐이라고 주장합니다.
공격자는 방어자가 보안 태세를 개선하는 속도보다 더 빠르게 능력을 향상시키고 있습니다.
HN 토론
250- kennywinker
왜 '파이프 폭탄 만드는 법'에 답하는 LLM에 대해 걱정하는지 이해가 안 가네요. 그런 정보는 다른 곳에서도 쉽게 구할 수 있습니다. 아나키스트 쿡북은 55년 동안 존재해 왔고 구할 수 있었는데, 그렇다고 파이프 폭탄이 우리 주변에서 터지고 있지는 않잖아요.
- sho
> 9월 22일에 Apple이 256GB 통합 메모리를 탑재한 M5 Mac Studio를 출시합니다 [..] 아마도 [..] 이 코드 조각을 3초 안에 작성할 수 있을 겁니다
작성자는 분명 Mac에서 LLM을 실행해 본 적이 없군요! 3초 안에, 아마도 프롬프트의 두 번째 토큰을 처리하기 위한 계획 일정을 고려할 날짜를 잡는 것을 고려하기 시작할지도 모릅니다.
- archi42
졸리네요, 우리는 수십 년 전에 보안을 제대로 갖췄어야 했습니다. 하지만 보안은 비용이 들고, 새 고객을 유치할 화려한 기능도 아니며, '진짜' 사업을 하거나 서비스를 제공하는 곳이라면 마진을 깎아먹기도 합니다. 아니면 베를린의 의사 결정권자들이 보안을 무시할 때 무슨 생각을 했든 간에요.
네, 여전히 해킹은 보이겠지만, 보안이 선택 사항이 아니었다면 더 적게 볼 수 있었을 겁니다.
어쩌면 AI 열풍이 더 많은 의사 결정권자들이 보안을 필수로 보게 만들고, 우리 도구 상자에 또 하나의 강력한 도구를 추가함으로써 도움이 될지도 모릅니다.
참고: 저는 보안 업계에서 일합니다. 고객들은 분명 보안을 개선하고 싶어 합니다. 인식이 높아지는 것을 보고 있지만, 그건 대부분 NIS2 및 기타 입법 노력 때문입니다. 그것들이 그들로 하여금 뭔가를 하게 만듭니다. AI는 그들 중 많은 사람에게 잡담거리일 뿐입니다.
- pmlnr
아이디어 하나: 첫 단계로, 모든 것을 단순화하고, 자신의 스택이 어떻게 작동하는지, 무엇을 가져오는지 확실히 인지하세요.
예를 들어, WordPress는 끔찍한 것이지만, 핵심은 너무 많은 시행착오를 겪어서 놀랍도록 안전합니다. 그런데 플러그인과 테마가 들어오면, 휙, 보안이 사라집니다.
우리에겐 새로운 KISS가 필요합니다: 단순하게, 멍청하게, 안전하게.
- simonw
1년도 안 남았다고 생각합니다. 현재 세대의 LLM은 취약점 식별에 엄청나게 능숙합니다.
- aenis
우리에겐 시간이 더 적게 남았고, 유일한 남은 제약은 그러한 해킹 캠페인을 실행하는 실제 비용이라고 생각합니다. 비싸 보이지는 않지만, 공짜는 아니며, 취약점을 스캔할 것이 아주 많습니다.
모델은 이미 여기 있으며, GPU 클러스터를 빌려 그러한 작업을 빠르게 실행할 수 있습니다. 느린 로컬 머신으로 놀 필요가 없습니다. 의심스럽지 않은 공공 클라우드 제공업체에서 추론을 호스팅하고, 네트워크 트래픽을 일부 봇넷으로 프록시하여 차단을 피할 수 있다고 가정합니다. 남은 것은 시간과 비용뿐입니다.
지루하고 합법적인 회사들이 나쁜 사람들보다 먼저 취약점을 찾기 위해 자신의 시스템에 동일한 작업을 시도할 수 있는 도구가 무엇인지 궁금합니다. 여기서 역설은 해커들이 사용하는 것과 동일한 도구로 제한 없는 중국 모델을 실행할 수 없다는 점이지만, 기업들이 공세에 대비할 기회를 갖기 위해서는 실제로 그렇게 해야 한다고 생각합니다.
- hypfer
> 이것은 대부분의 사람들에게 무의미한 말이나 히스테리적인 과장으로 들릴 수 있으므로, 그 의미는 다음과 같습니다: "GLM"은 일종의 LLM(AI)입니다 [...]
이 글은 기술을 이해하는 사람들에게도 그렇게 들립니다.
이렇게 지적하고 그 평가를 지식 부족 탓으로 돌리려는 것은 면죄부도, 좋은 전략도 아닙니다.
__
편집: 기사를 머릿속에서 숙고하는 데 시간을 보낸 후.
방어 측면에서는 다음과 같이 쓰여 있습니다.
> LLM은 패치 작성에 능숙하지만, 일회성 프롬프트로는 그렇지 않습니다.
하지만 이것은 공격 측면에 쓰여진 내용과 충돌하는 것 같습니다:
> GLM 5.3-flash는 이러한 작업에 너무 능숙해서 인간의 개입이 무시할 수 있을 정도입니다. 결과적으로, 우리는 이제 사이버 보안 공격이 for 루프로 실행될 수 있는 세상에 살고 있습니다.
도대체 무엇입니까? 그렇게 자율적인 무서운 존재일 수 있습니까, 아니면 그럴 수 없습니까?
네, 네, 공격자는 한 번만 이기면 되지만 방어자는 매번 이겨야 한다는 것은 맞지만, 그게 제 요점은 아닙니다.
- mentalgear
사이버 보안 강화에 1년이 남았다고, 저도 그렇게 생각했습니다. 문제는, 우리가 그것을 끝낸다고 해도: 1년 안에 모델들은 사회 공학에 너무 능숙해져서 어쨌든 원하는 정보를 추출할 수 있을 것입니다. 증거 기반 주장이 있다면 여기서 반박당해도 기쁩니다.
편집: 사회 공학이란 예를 들어: 회사 구조를 정찰하고, 다크 웹에서 사람들의 데이터를 수집 및 병합한 다음, 이를 사용하여 사용자를 협박/압박/기만하는 것을 의미합니다.