AI 爬虫已占网站流量的四分之一

AI Crawler Index

mojodojo.io 发布了一份实时数据报告，揭示了 AI 爬虫对真实网站的访问情况。在过去 30 天里，AI 爬虫贡献了 24% 的机器人流量，其中 AI 训练、AI 搜索和用户实时读取是主要来源。报告通过 IP 地址验证，剔除了伪装成 Googlebot 或 GPTBot 的虚假请求，并详细列出了 FacebookBot、ClaudeBot、PerplexityBot 等各大厂商的爬虫活跃度。数据显示，FacebookBot 是最激进的访问者，而 GPTBot 的验证率却低得惊人。这份数据不仅展示了 AI 如何重塑网络流量结构，也提醒网站所有者关注爬虫行为的真实性与合规性。