9つのLLMに同じPDFを渡したら、2つは読まずに回答した

We gave nine LLMs the same PDF. Two answered without reading it

複数のLLMに同じ質問を同時に送る製品を開発する中で、PDFを添付しても実際には読まないモデルが存在することが判明。OpenRouter経由で9つのLLMをテストした結果、DeepSeek V4 ProとGLM-4.7はエラーも出さずに文書を読まずに回答を捏造した。さらに、ページ数が50枚を超えるとリクエスト全体が拒否される、カタログ上はファイル対応と表示されていても実際には使えない、推論モデルが思考に予算を消費して空文字を返す、などの問題も明らかに。実用的な教訓として、ステータスコードを信頼せず、文書内の詳細を問うことで読み取りを検証すべきだと述べている。