Anthropic의 Project Glasswing, 7개월 만에 드러난 초라한 성적표
After 7 Months, Glasswing Overwelms Maintainers with Underwhelming Findings
Anthropic의 Project Glasswing이 7개월간 37,966건의 취약점을 보고했지만 공개된 것은 19.4%에 불과하고, 수정된 것은 217건뿐이다. 중복으로 표시된 사례가 1,654건으로 수정 건수의 7.5배에 달하며, 419건은 철회됐다. Anthropic이 주장하는 94.2%의 진양성률과 달리 curl 유지관리자가 검증한 34건 중 19건이 취약점이 아닌 것으로 판명됐다. 결국 검증 부담이 오픈소스 유지관리자에게 전가되고 있다.
Anthropic이 보고한 37,966건의 발견 중 7,349건(19.4%)만 공개됐고, 그중 수정된 것은 217건에 불과하다.
HN 토론
198- pizlonator
Anthropic으로부터 Fil-C 이슈 보고를 9건 받았습니다
모두 실제 버그였습니다. 오탐은 하나도 없었습니다.
보고서 품질은 탁월했습니다. (제 기준선은 브라우저 엔진에서 보안 방어를 하는 것이라, 표본 수가 많고 아마 전문가들이 할 수 있는 일을 대표한다고 볼 수 있습니다.)
제안된 수정안의 품질은 괜찮았습니다. 일부 수정안은 그대로 받아들였습니다. 대부분의 수정안은 제 방식대로 하는 데 큰 영감으로 삼았습니다.
테스트 케이스의 품질은 탁월했습니다.
어쩌면 제가 특별한 경우일 수도 있겠죠! 하지만 저는 그저 제가 본 Anthropic의 능력과 TFA가 말하는 것 사이의 엄청난 간극을 지적하고 싶을 뿐입니다
- enthuseyourcurb
Mythos 출시 이후 매일 근무일(그리고 많은 주말)을 심각하고 회사를 끝장낼 수 있는 유형의 보안 이슈를 패치하는 데 쏟아부은 빅테크 회사에서 일하는 사람으로서, 이런 유형의 글은 정말 짜증이 납니다.
공개 CVE 데이터셋이 기대에 못 미친다는 것은, 모든 이슈가 CVE 번호가 부여되지 않고 멋진 블로그 글도 절대 나오지 않을 비공개 기업 코드베이스에 있다면 별 의미가 없습니다. 그런 것에 대해서는 절대 듣지 못할 것이고, 그것을 다루는 사람들도 아마 말해줄 수 없을 것입니다. 하지만 그렇다고 해서 그것들이 존재하지 않는 것은 아닙니다.
우리는 PHP나 curl 같은 것이 얼마나 널리 쓰이는지 때문에 OSS에 보안 이슈가 있다는 것을 걱정합니다... 하지만 수백만 기업이 의존하는 이메일 제공업체, 문서 협업 SaaS, 결제 처리업체 등에 대해서도 같은 말을 할 수 있습니다. 그런 회사들은 이런 데이터셋에 절대 포함되지 않을 것이고, 발견한 이슈 수를 공개적으로 공개하지도 않을 것입니다.
- snowwrestler
PHP2Shell 취약점은 결국 역설적으로 저에게 위안이 되었습니다.
그들은 프런티어 모델을 PHP에 풀어놓았고, 그들이 찾은 큰 것은 익스플로이트하기가 극히 어려운 이전에 알려진 논리 결함에 기반한 것이었습니다. 이는 이해가 됩니다: 그래서 프런티어 모델이 필요한 것이죠.
그리고 실제 환경에서는 많은 시도와 몇 가지 간단한 데모 성공이 있었지만, 실질적인 영향은 작아 보였고, 체인의 길이와 PHP 설정의 다양성에 의해 제약을 받는 듯했습니다.
요컨대 그것은 실제로 중대한 취약점이었지만, (아서 C 클라크적 의미의) 마법은 아니었습니다.
궁극적으로 두려움은 결국 이것으로 귀결된다고 생각합니다: 코드가 안전하게 보호될 수 있다고 믿는가. 정지 문제 등 때문에 그것을 연역적으로 증명할 객관적인 방법은 아마 없을 것이라고 인정합니다. 하지만 코드가 명세대로 작동하도록 구축될 수 있다고 믿는다면, LLM이—아무리 똑똑하더라도—끼칠 수 있는 피해에는 한계가 있어야 합니다.
우리는 많은 알려진 분류된 코드 결함이 드러나고 hopefully 수정되는 단계를 지나고 있다고 생각합니다. 그 과정에서 겪는 것은 힘들죠. 하지만 실제로 이런 유형의 진화의 첫 번째 라운드는 아닙니다. 그리고 궁극적으로 이전과 마찬가지로, 우리는 더 안전하고 견고한 기술을 가지고 반대편으로 나올 것이라고 생각합니다.
- rurcliped
그 블로그는 Project Glasswing의 효과를 간접적으로 관련된 데이터 소스를 통해 규정하려 하기 때문에 오해의 소지가 있습니다. Project Glasswing 취약점 발견은 대부분 Glasswing 파트너가 자사의—흔히 독점적인—소프트웨어에 Mythos급 모델을 겨냥할 때 발생합니다. 데이터 소스(일명 "원장")는 오픈 소스 소프트웨어를 위한 Anthropic 조정 취약점 공개 프로그램에만 해당합니다. 즉, Anthropic 자체가 Mythos급 모델을 OSS 패키지에 겨냥한 다음, 그렇게 했다는 사실과 공유할 발견 사항이 있다는 것을 나중에 유지관리자에게 알리는 것입니다. 이 OSS 작업은 확실히 유용하지만, 수정 건수는 부분적으로 자원봉사 OSS 유지관리자들의 제한된 시간 가용성과 Anthropic이 때때로 OSS 프로젝트의 위협 모델을 모른 채 작업했다는 점을 반영합니다(위협 모델은 최신 oss-scanner 노력에서 명시적으로 요청됩니다). 수정 비율은 독점 소프트웨어와 함께 Glasswing을 사용할 때 훨씬 더 높은 경우가 많습니다. 예: https://blog.cloudflare.com/cyber-frontier-models/ "Mythos Preview와의 우리 연구는 우리 자체 코드에 대해 통제된 환경에서 수행되었습니다. 이 작업을 통해 드러난 모든 취약점은 Cloudflare의 공식 취약점 관리 프로세스에 따라 분류, 검증 및 필요한 경우 수정되었습니다."
- dfee
curl에 대한 일화가 있지만, 여기서 결론을 도출하기에 충분한지 확실하지 않습니다. 취약점의 20%가 공개되었고, 그중 많은 수가 "철회됨" 또는 "중복"으로 표시되어 있습니다. 그러나 나머지 80%가 수정되지 않았거나 실제가 아니어서 공개되지 않은 것인지는 불분명합니다. 다시 말해, 이것은 생존자(공개된 것)에 대한 분석입니다. 아직 엠바고 중인 것들에 대해서는 많은 것을 말할 수 없습니다.
- sigmar
> 지금까지 442개 중 2개만 실제 환경에서 익스플로이트되었으며, 단 0.45%에 불과합니다.
> 거의 익스플로이트되지 않고 있습니다
Glasswing의 요점은 익스플로이트되기 훨씬 전에 패치하는 것 아닌가요? 패치된 코드가 빠르게 배포된다면, 악의적인 행위자가 익스플로이트를 제작하고 배포할 기회(또는 인센티브)가 없습니다. 이 글은 그것들을 "진짜" 취약점이 아닌 것처럼 보이게 하려는 시도처럼 읽힙니다.
- delichon
AI가 취약점을 찾는 데는 더 뛰어나지만 수정하는 데는 그렇지 않다는 일반적인 패턴을 가리킨다면 나쁜 일입니다. 그 비율이 클수록 모든 것을 안전하게 보호하기가 더 어려워집니다. 이 실험의 현재 통계는 37,966 대 217입니다. 오탐이 많지만 큰 그림을 바꾸기에는 충분하지 않습니다. 그들이 양쪽에 동등한 토큰을 적용하지 않았기를 바랍니다. 그렇지 않으면 AI는 건설보다 파괴에 더 뛰어날 수 있습니다.
- a34729t
게시물에 나온 회사의 다운스트림에 있는 사람으로서, AI가 생성한 취약점 보고서의 쓰나미를 확인할 수 있습니다. 그래서 인간 유지관리자들은 더욱더 얇게 늘어나고, 대부분의 버그는 중요하지 않습니다.
좋은 점은 익스플로이트 가능성 등급을 향한 움직임입니다: 시스템에 취약한 소프트웨어가 있지만 실행 중이 아니라면, 그것은 심각하지 않습니다.