通过滚动行为检测爬虫机器人

Detecting scraper bots through scroll behaviour

自阅读 Kwang-Il Goh 关于复杂系统突发性和记忆的论文后，我着迷于用 Burstiness 和 Memory 这两个指标分析事件驱动系统。以往我尝试用请求时间区分人类与机器人，但像 ClaudeBot 这样的先进爬虫利用无头浏览器轻易伪装。最近我发现，人类在网页上寻找信息时的滚动行为具有独特的突发性模式，这很难被机器人模仿。我利用 FP-Agent 数据集，计算了各代理在页面滚动事件中的突发性与记忆值，并训练了一个 LightGBM 模型。结果显示，人类分布与机器人显著不同，模型仅凭这两个特征就达到了 73.4% 的准确率，尽管人类与 ChatGPT Agent 仍有混淆。这表明滚动行为是区分爬虫的宝贵数据点，未来结合鼠标移动等特征，有望构建更通用的防护模型。