扫描 45 本旧书，验证 Pangram 是否作弊
Scanning for Pangram Errors
作为小众浪漫小说社区的运营者，我正面临大量未标注的 AI 作品冲击。为了验证 Pangram 宣称的万分之一误报率，我特意购买了 45 本从未数字化的旧书，通过扫描和 OCR 将其转化为文本进行测试。我的担忧是：Pangram 是否只是死记硬背了训练数据中的旧作？结果令人意外，Pangram 并未将这些旧书误判为 AI。所谓的“误报”实际上源于 Mistral OCR 在空白页上幻觉生成的表格，而 Pangram 成功识别出了这些由 AI 生成的错误内容。这次测试证明 Pangram 并未简单记忆训练集，但也提醒我们，在使用任何检测工具时，人工复核依然不可或缺。
如果一位作者的写作总量达到 Stephen King 的水平，按照万分之一误报率计算，他整个职业生涯中预计只有三个段落会被标记为 AI 生成。
HN 评论区
10- leonidasv
Pangram 对我来说简直就是巫术。他们仅凭少量样本，在统计信号如此微弱的情况下，就能准确检测出 AI 生成的内容，这简直疯了。我见过它甚至能正确识别出那些使用了“人类化”重写技巧的文本——这些技巧本意是抹去 AI 写作的特征，让文本变得与人类写作无异。但 Pangram 照样能识破。
- Aurornis
方法论很有意思。Pangram 的结果出人意料地好。
这些工具肯定不是 100% 完美的，这也是人们主要用来否定它们的理由。不过，其错误率也在令人印象深刻地降低。
在我看到的大多数社交和在线案例中，人们在想到把内容提交给 Pangram 之前，往往已经高度怀疑该内容是 AI 生成的了。它是按需使用的工具，用来证实疑虑。我见过好几个 Pangram 出现假阴性的案例：内容被判定为“很可能是人类写的”，但作者后来承认那是由 LLM 写的。
在 Substack 的背景下，Pangram 非常有趣，因为该平台曾是懒惰的 AI 通讯的靶子。人们意识到他们可以开设 10 个（甚至更多）通讯，只花几分钟让 ChatGPT 为他们写帖子。创建一个 AI 生成的 Substack 并试图获取付费订阅者，正成为利用 AI 赚取一点快钱的流行方式。拥有一个让这件事稍微难做一点的工具（至少直到 LLM 足够强大能绕过它为止），对该平台来说至关重要。
- gjm11
另一方面，参见 https://freddiedeboer.substack.com/p/i-wouldnt-say-pangram-i...，Freddie deBoer 展示了一些 Pangram 明显给出错误或误导性结果的实例。
（一个对我来说 somewhat-plausible 的解释：它在寻找各种文体特征；旧时代的写作极少具备最像 AI 的特征，或者几乎总是具备某些非 AI 特征，这些特征压倒了可能存在的任何 AI 迹象。而当代的写作者更容易被错误标记为 AI。）