「分類するな、幻覚させろ！」LLMで商品分類を安く済ませる逆転の発想

Don't classify, hallucinate!

LLMで商品や検索クエリを分類するのは今や当たり前だが、許可された分類語彙に出力を制限するのは難しい。WayfairのWANDSデータセットには数百ものカテゴリがあり、PydanticのLiteralで全候補を列挙する方法は非効率で、APIの上限にもぶつかる。そこで、安価なLLMに「ありそうで存在しない」偽の分類を生成させ、それを実在の分類の埋め込みベクトルと照合して最も近いものを選ぶという手法を紹介。この方法なら、スキーマを毎回送る必要がなく、小さなモデルでも大規模に使える。