Meta의 Muse, 웹 스크래핑에 기막힌 도구
Meta's Muse is fantastic for web scraping
개인 프로젝트 fullsets.fm을 만드는 개발자가 Meta의 Muse를 활용해 Reddit과 YouTube에서 고품질 콘서트 영상을 대량으로 수집하고 있다. 월 80달러로 수십억 토큰을 사용하며, Muse Spark 1.3 모델은 글쓰기에는 별로지만 Gemini Flash급 작업에는 유용하다고 평가한다. 무제한에 가까운 토큰과 관리형 VM을 제공하는 Muse가 웹 스크래핑에 강력하지만, Amazon이 이미 차단한 것처럼 남용 우려도 제기된다.
Muse가 내 웹사이트를 향할 때 무슨 일이 벌어질지 걱정된다. 이 에이전트들은 잠들지 않고, 실제 사용자인 척 매우 잘 할 수 있다.
HN 토론
74- dvt
나는 샌드박스 처리된 Chromium 위에서 돌아가는 AI "웹 하네스"를 만들었다(웹소켓으로 "드라이버"와 통신하는 커스텀 사이드로드 플러그인을 사용). 이건 기본적으로 일반 사용자가 브라우저에서 할 수 있는 모든 것을 대신 해준다. 이건 모든 봇 탐지 수단을 완전히 우회하고, 너 자신도 겪게 되는 것들만 걸리게 된다(그리고 그것들도 성공적으로 통과한다. 예를 들어 Cloudflare 체크박스나 그 짜증나는 OCR 퍼즐 같은 것들).
이걸 공개해야 할지 모르겠지만, 더 많은 사람들이 에이전트 기반 브라우징의 힘을 눈치채고 있다는 건 확실하다.
- wiether
매일같이 Meta의 봇들과 싸우면서 실제 고객들이 웹사이트에 접근할 수 있게 유지해야 하는 사람으로서, 반대편에서는 이게 긍정적으로 보일 수 있다는 얘기를 읽으니 놀랍지 않다.
그런데 궁금하다: 그 대가는 무엇인가?
- kevmo314
Muse가 캡차를 만나서 내게 이걸 풀고 싶냐고 물었다.
그래서 당연히 '예'를 눌렀더니, 녀석은 성실하게 사이트를 설득해서 자신이 봇이 아니라고 믿게 만들었다.
- arjunchint
이들의 고정 IP는 처음에는 괜찮았고 플래그되지 않았지만, 이제 대부분의 사이트가 이들의 IP 대역을 인식하고 차단하고 있다.
차단이 늘어나면서 Muse의 유용성은 크게 떨어졌다.
다시 진짜로 유용해지려면 주거용 프록시를 써야 할 텐데, 위험과 평판 손상 때문에 그렇게 할 거라고는 보이지 않는다.
- sixtyj
> 이게 어디로 이어질지는 모르겠지만, Meta가 남용을 막지 않으면 더 많은 웹사이트가 Muse를 차단하게 될 것이다.
여기에 하루에 백만 번의 접근 시도를 곱해봐라.
일반 브라우저조차 Cloudflare나 비슷한 장벽에 걸리는 사이트에 가려면 허용된 핑거프린트 같은 게 필요한 날이 올 것은 시간문제다.