単語を一切見ずに構造だけでAI生成記事を98%の精度で見抜く
Training a model to identify AI-generated web content from structure alone
単語レベルの検出器は言い換えに弱く、どのAIモデルが書いたかも分からない。本研究はStoryScopeを商用コンテンツに拡張し、268社の企業ブログ2,250件と5つのフロンティアモデルによる11,250件のAI記事を比較。情報の提示順や証拠の使い方など187の構造的特徴のみで、未知企業のAI記事を98.0 macro-F1で検出し、全AI記事をモデル自身に言い換えさせても98.1と精度が落ちなかった。AI記事は自己宣言的で整いすぎた形を持ち、79.3%が正しいモデルに帰属される。
AIの投稿は整然とした自己宣言的な形を共有しており、79.3%が正しい生成元に帰属される（偶然なら16.7%）。
- asdff
アイデアは面白いが、手法とgithubを見てみると、ツール周りには物足りなさを感じる。つまりここでは、分類器の学習に使われた様々なしきい値を確立し、吟味し、検出するためにLLMを信頼しているわけだ。私はむしろ、こういうものは損失のある人間の英語プロンプトや、単一のサードパーティ（おそらく数年で基盤モデルを引き上げるだろう）へのトークン消費への依存ではなく、実際のコードで決定論的にやってほしい。結果を再現したり、別の学習データを試したりするためにね。
- pooploop64
これの目的は、AIが自分の糞の中からトウモロコシの粒を選り分けるのを手伝って、スロップの雑さの基準をほんの少し上げることなのか？それとも、AIがすでに食べている以上の量の自分の糞を食べるように騙すことなのか？これは汚染を製造するために特化して作られた工場のように感じる。
- bryanrasmussen
AIスロップは非創造的で退屈なクソだという考えだ。本当にAIスロップを識別できるかどうかを判断するなら、人間のスロップをAIスロップと誤認するかどうかを判定すべきだ。
アイデア1：AIが書く前の時代の、最悪で最も退屈な人間のマーケティング、組織、官僚的なテキストを特定し、それがAIでないと判断するのに使える時事への言及がないことを確認するために匿名化する。そしてAIが「おい、それはAIスロップじゃない」と言うかどうかを見る。
アイデア2：人々にAIスロップをパロディさせる。AIはそのパロディがまだAIスロップでないと判断できるか？