Meta Muse：网页爬虫的终极利器
Meta's Muse is fantastic for web scraping
我对Meta Muse的个人助理功能兴趣寥寥，毕竟我一年只点几次DoorDash，邮件和日程管理也早已得心应手。但当我需要海量数据时，Muse成了我的得力助手。我正在构建fullsets.fm，一个聚合专业录音演唱会的项目，需要筛选YouTube和Reddit上的高质量视频。Muse能帮我扫描成千上万个视频，精准找到那些散落在T-Mobile Europe等小众频道中的宝藏内容。它还能在流程末端协助艺术家匹配、审核Luna和Gemini 3.8的输出结果。虽然Muse Spark 1.3模型在写作和编码上表现平平，但在这种Gemini Flash式的工作负载中却异常高效。我每月支付80美元，换取近乎无限的token和带Chrome的托管VM。不过，我也担心这种不知疲倦的AI代理会被滥用，或许这就是Amazon已将其屏蔽的原因。
这些代理从不休眠，而且能极其逼真地伪装成真实用户。
HN 评论区
73- dvt
我开发了一个运行在沙箱化 Chromium 上的 AI“网络 harness”（使用自定义侧载插件，通过 websockets 与“驱动”通信），基本上能完成普通用户在浏览器中能做的任何操作。它完全绕过了所有反机器人措施，只会遇到你自己作为普通用户也会遇到的那些（并且能成功通过，比如 Cloudflare 的复选框或那些烦人的 OCR 谜题）。
不确定是否应该开源它，但我确信更多人正在意识到智能体浏览的强大之处。
- kevmo314
Muse 遇到了验证码，问我是否想让它解决。
所以我当然点了“是”，它便尽职尽责地让网站相信它不是机器人。
- wiether
作为一个每天都要与 Meta 的机器人搏斗、以确保网站对真实客户可访问的人，读到有人从另一面认为这是件好事，我并不感到惊讶。
但我在想：代价是什么？
- sixtyj
> 我不知道这会走向何方，但如果 Meta 不阻止滥用，我们很可能会看到更多网站屏蔽 Muse。
把它乘以每天 1,000,000 次访问尝试。
迟早有一天，即使是普通浏览器也需要某种允许的指纹才能访问那些否则会被 Cloudflare 或类似防护墙拦截的网站。
- arjunchint
他们的静态 IP 起初表现不错，没有被标记，但现在大多数网站都能识别出他们的 IP 段并进行封锁。
随着这些封锁，Muse 的实用性已大幅下降。
要真正恢复其效用，他们需要改用住宅代理，但我看不出他们会这么做，因为这会带来风险和声誉损害。