오픈소스 GLM 5.3-flash, 1년 안에 전 산업 보안 패치해야 하는 이유
We have a year to fix security everywhere
중국 AI 연구소 Z.ai가 오픈웨이트 모델 GLM 5.3-flash를 공개하면서, 이를 악용 목적으로 개조한 'abliterated' 버전이 등장했습니다. 이 모델은 소비자용 하드웨어에서 실행 가능하며, 사이버 보안 벤치마크에서 최고 수준의 성능을 보여줍니다. 저자는 프론티어 LLM을 활용해 취약점을 사전에 찾고 패치하는 Anthropic의 Project Glasswing과 OpenAI의 Daybreak 같은 이니셔티브가 있지만, 실제 문제는 패치 배포의 어려움이라고 지적합니다. 정부와 규제 기관에 보안 엔지니어링 자금 지원, 정기적인 침투 테스트 의무화, 에어갭 강화 등을 촉구하며, 모델 자체를 금지하는 것은 역효과를 낳을 뿐이라고 주장합니다.
공격자는 방어자가 보안 태세를 개선하는 속도보다 더 빠르게 능력을 향상시키고 있습니다.
HN 토론
357- kennywinker
파이프 폭탄을 만드는 방법에 답하는 LLM에 대한 우려가 왜 있는지 혼란스럽다. 그 정보는 다른 곳에서 쉽게 구할 수 있다. 무정부주의자 요리책은 55년 동안 존재해 왔고 구할 수 있었지만, 파이프 폭탄이 우리 주변에서 터지고 있지는 않다.
- sho
> 9월 22일에 Apple이 256GB 통합 메모리를 탑재한 M5 Mac Studio를 출시합니다 [..] 아마도 [..] 이 코드 조각을 3초 안에 작성하기에 충분할 것입니다.
저자는 분명히 Mac에서 LLM을 실행해 본 적이 없습니다! 3초 안에, 아마도 프롬프트의 두 번째 토큰을 처리하기 위한 계획 일정을 고려할 날짜를 예약하는 것을 생각하기 시작했을 것입니다.
- archi42
지루하군요, 우리는 수십 년 전에 보안을 제대로 갖췄어야 했습니다. 하지만 보안은 비용이 들고, 새 고객을 유치할 화려한 기능도 아니며, '진짜' 사업을 하거나 서비스를 제공하는 곳에서는 수익을 깎아먹습니다. 아니면 베를린의 의사 결정권자들이 보안을 무시했을 때 무슨 생각을 했든 간에요.
그래, 여전히 해킹은 보겠지만, 보안이 선택 사항이 아니었다면 더 적은 해킹을 봤을 것입니다.
어쩌면 AI 열풍이 더 많은 의사 결정권자들이 보안을 필수로 보게 강제하고, 우리 도구 상자에 또 하나의 강력한 도구를 추가함으로써 도움이 될지도 모릅니다.
참고: 저는 보안 업계에서 일하며, 우리 고객들은 분명히 보안을 개선하기를 원합니다. 우리는 인식이 높아지는 것을 목격해 왔지만, 그것은 주로 NIS2 및 기타 입법 노력 때문입니다. 그것들이 그들로 하여금 뭔가를 하게 강제합니다. AI는 그들 중 많은 사람들에게 잡담거리일 뿐입니다.
- pmlnr
아이디어가 있습니다: 첫 번째 단계로, 모든 것을 단순화하고, 스택이 어떻게 작동하는지, 무엇을 가져오는지 알고 있어야 합니다.
예를 들어, WordPress는 끔찍한 것이지만, 핵심은 너무 많은 시행착오를 겪어서 놀라울 정도로 안전합니다. 그런데 플러그인과 테마가 추가되면, 휙, 보안이 사라집니다.
우리는 새로운 KISS가 필요합니다: 단순하게, 멍청하게, 안전하게.
- anon373839
> GLM 5.3-flash가 지난주에 출시되었고, 이는 Project Glasswing과 Daybreak의 시간이 얼마 남지 않았음을 의미합니다. 위험한 해킹이 가능한 저렴한 모델이 이제 악의적인 행동을 거부하는 일반적인 안전장치 없이 누구에게나 제공됩니다. 우리는 산업 전반의 취약점을 고쳐서 불시에 당하지 않도록 해야 합니다. … 우리는 인간보다 빠르게 움직이는 최첨단 LLM을 사용하여 남은 시간 안에 이러한 문제를 찾고 해결할 수 있습니다.
저자는 이것을 거꾸로 생각하는 것 같습니다. 제가 살아온 타임라인에서는, 제3자에 대한 공격을 수행해 온 것은 최첨단 모델들이었고, 중국의 오픈소스 모델들이 방어를 해왔습니다! Huggingface 사건 동안, HF는 침입을 막기 위해 최첨단 모델을 사용하는 것이 거부되었지만, 다행히도 자체 호스팅된 GLM-5.2 인스턴스로 전환할 수 있었습니다. 그리고 그것은 제 역할을 다했습니다.
- simonw
우리에게 1년도 남지 않았다고 생각합니다. 현재의 LLM들은 취약점을 식별하는 데 매우 뛰어납니다.
- rbtms
더 강력한 모델이 등장하기 전에 공격 표면을 줄이는 것이 물론 중요하지만, 어떤 사람들은 이를 상쇄하는 유일한 방법이 더 많은 AI 모델을 사용하는 것이라고 가정하는 것 같아 우려됩니다. AI 모델은 버그를 찾는 데 (분명히) 능숙하지만, 발견하지 못한 채 버그를 도입하는 데도 매우 능숙하기 때문입니다.
- aenis
우리에게 시간이 더 적게 남았고, 남은 유일한 제한은 그러한 해킹 캠페인을 실행하는 실제 비용이라고 생각합니다. 비싸 보이지는 않지만 무료도 아니며, 취약점을 스캔할 것이 많습니다.
모델은 이미 여기에 있으며, GPU 클러스터를 임대하여 그러한 작업을 빠르게 실행할 수 있습니다. 느린 로컬 머신을 사용할 필요가 없습니다. 의심받지 않는 공공 클라우드 제공업체에서 추론을 호스팅하고, 네트워크 트래픽을 일부 봇넷으로 프록시하여 차단을 피할 수 있다고 가정합니다. 그러면 남은 것은 시간과 비용뿐입니다.
지루하고 합법적인 회사들이 나쁜 사람들보다 먼저 취약점을 찾기 위해 자신의 시스템에 동일한 작업을 시도할 수 있는 도구가 무엇인지 궁금합니다. 여기서 역설은 해커들이 사용하는 것과 동일한 도구로 제한 없는 중국 모델을 실행할 수 없다는 것입니다. 그러나 기업들이 공세에 대비할 기회를 얻으려면 실제로 그렇게 해야 한다고 생각합니다.
- mentalgear
사이버 보안 강화에 1년이 남았다고, 저도 그렇게 생각했습니다. 문제는, 우리가 그것을 끝내더라도: 1년 안에 모델들이 사회 공학에 너무 능숙해져서 어쨌든 원하는 정보를 추출할 수 있을 것이라는 점입니다. 증거 기반 주장이 있다면 반박을 환영합니다.
편집: 사회 공학이란 예를 들어, 회사 구조를 정찰하고, 다크 웹에서 사람들의 데이터를 수집 및 병합한 다음, 이를 사용하여 사용자를 협박/압박/기만하는 것을 의미합니다.
- saimiam
이것은 '지금 당장 어디서든 문제를 고쳐야 한다'는 복잡성 측면에서 Y2K와 거의 비슷하게 들리지만, 코드베이스에 매일이 Y2K인 셈입니다.