Meta's Muse ist fantastisch für Web Scraping
Meta's Muse is fantastic for web scraping
Ich baue fullsets.fm, ein Projekt, das professionell aufgenommene Konzerte sammelt und Tracklists extrahiert. Muse hilft mir, verstreute YouTube-Kanäle zu finden und Videos zu prüfen. Für 80 $ im Monat verbraucht es wöchentlich Milliarden von Tokens, oft ohne dass sie gezählt werden. Das Modell Muse Spark 1.3 ist mittelmäßig im Schreiben, aber für diese Art von Aufgabe nützlich. Amazon hat Muse bereits blockiert, und ich mache mir Sorgen, was passiert, wenn jemand Muse auf meine eigenen Websites ansetzt.
Ich mache mir Sorgen, was passieren wird, wenn jemand Muse auf meine eigenen Websites ansetzt. Diese Agenten schlafen nicht, und sie können sich extrem gut als echte Nutzer ausgeben.
- dvt
Ich habe einen KI-"Web-Harnisch" gebaut, der auf einem sandboxed Chromium läuft (mit einem benutzerdefinierten side-loaded Plugin, das über Websockets mit einem "Treiber" kommuniziert), um im Grunde alles zu tun, was ein normaler Nutzer in einem Browser tun könnte. Es umgeht sämtliche Bot-Maßnahmen und bekommt nur die, die du selbst auch bekommen würdest (und besteht sie erfolgreich, z. B. Cloudflare-Checkbox oder diese nervigen OCR-Rätsel).
Ich bin mir nicht sicher, ob ich es veröffentlichen soll, aber ich bin sicher, dass immer mehr Leute die Macht des agentischen Browsens erkennen.
- wiether
Als jemand, der täglich gegen Metas Bots kämpfen muss, um Websites für echte Kunden zugänglich zu halten, überrascht es mich nicht, dass es auf der anderen Seite als etwas Positives gesehen werden kann.
Aber ich frage mich: Zu welchem Preis?
- kevmo314
Muse stieß auf ein Captcha und fragte mich, ob ich es lösen solle.
Also klickte ich natürlich ja und es überzeugte die Seite pflichtbewusst davon, kein Bot zu sein.
- arjunchint
Ihre statischen IPs waren anfangs gut und wurden nicht markiert, aber jetzt erkennen die meisten Seiten ihre IP-Bereiche und blockieren sie.
Muses Nutzen ist durch die Blockierungen deutlich gesunken.
Um wieder wirklich nützlich zu sein, müssten sie Residential-Proxies verwenden, aber ich kann mir nicht vorstellen, dass sie das wegen der Risiken und des Reputationsschadens tun.
- sixtyj
> Ich weiß nicht, wohin das führt, aber wir werden wahrscheinlich mehr Websites sehen, die Muse blockieren, es sei denn Meta verhindert Missbrauch.
Multipliziere das mit 1.000.000 Zugriffsversuchen – täglich.
Es ist nur eine Frage der Zeit, wann selbst normale Browser einen erlaubten Fingerprint brauchen, um auf Seiten zu gelangen, die sonst von Cloudflare oder ähnlichen Mauern abgefangen werden.