Meta's Muse оказался идеальным инструментом для веб-скрапинга
Meta's Muse is fantastic for web scraping
Автор делится опытом использования Meta's Muse для сбора данных с Reddit и YouTube в рамках своего проекта fullsets.fm. Muse помогает находить малоизвестные каналы с качественными концертами, обрабатывая миллиарды токенов в неделю за $80 в месяц. Модель Muse Spark 1.3 слаба в написании кода, но отлично справляется с задачами уровня Gemini Flash. Автор предупреждает о рисках злоупотребления и возможных блокировках со стороны сайтов.
Я плачу $80 в месяц за Muse, и он использует несколько миллиардов токенов в неделю на эту работу. Часто кажется, что расход токенов вообще не учитывается.
- dvt
Я сделал AI "web harness", работающий на изолированном Chromium (используя кастомный side-loaded плагин, который общается через websockets с "драйвером"), чтобы по сути делать всё, что мог бы делать обычный пользователь в браузере. Он полностью обходит любые и все бот-меры и получает только те, которые получили бы и вы сами (и успешно проходит их, например, чекбокс Cloudflare или те раздражающие OCR-головоломки).
Не уверен, стоит ли это выпускать, но я уверен, что всё больше людей осознают мощь агентного браузинга.
- wiether
Как человек, которому приходится каждый день сражаться с ботами Meta, чтобы сайты оставались доступными для реальных клиентов, я не удивлён, читая, что на той стороне забора это можно воспринимать как что-то положительное.
Но мне интересно: какой ценой?
- kevmo314
Muse наткнулся на капчу и спросил меня, хочу ли я, чтобы он её решил.
Ну, конечно, я нажал "да", и он послушно убедил сайт, что он не бот.
- arjunchint
их статические IP изначально были хороши и не попадали под флаги, но теперь большинство сайтов распознают их диапазоны IP и блокируют.
Полезность Muse значительно упала из-за этих блокировок.
Чтобы снова стать по-настоящему полезными, им придётся использовать резидентные прокси, но я не могу представить, что они это сделают из-за рисков и репутационного ущерба.
- sixtyj
> Я не знаю, к чему это приведёт, но мы, вероятно, увидим, как всё больше сайтов блокируют Muse, если Meta не предотвратит злоупотребления.
Умножьте это на 1 000 000 попыток доступа — ежедневно.
Это вопрос времени, когда даже обычным браузерам потребуется какой-то разрешённый отпечаток, чтобы попасть на сайты, иначе их остановит Cloudflare или подобная стена.