LLMによる分類は、実は特徴量エンジニアリングだった
LLM Classification Is Feature Engineering
LLMを分類器として使うと、確信度の較正ができず、構造化データを無視し、判断根拠も不透明になりがちだ。しかしLLMの判定をロジスティック回帰の特徴量として扱えば、確率出力・閾値調整・解釈性を備えた通常の機械学習モデルに変わる。SemEval 2018のアイロニー検出で検証し、LLMの真価は特徴量生成にあると説く。
LLMを分類器として使う場合、唯一の選択肢はプロンプトをいじることだ。これはインターネット上に助言があふれているが知恵は乏しい、難解な作業である。幸運を祈る。
HNでの議論
19- vova_hn2
これは2つのLLMを使えば自動化できると思う。1つはプロンプト生成用のより強力で高価なモデル、もう1つは実際の分類用の弱いモデルだ。おおよそのアルゴリズムはこうだ：
1. 「強い」LLMにタスクの定式化といくつかのラベル付き例を与える。「弱い」LLM用のプロンプトを生成するよう依頼する。
2. 1で生成したプロンプトを使って「弱い」LLMを訓練セットで実行し、その返答をより小さなMLモデル（logreg、決定木など）の特徴量として使う。
3. 訓練セットから、小さなモデルが最も間違える例を選び、「強い」LLMに（1のように）もう1つプロンプトを生成するよう依頼する。ただし今回はランダムではなく誤分類された例を使う。
4. 3で生成したプロンプトで「弱い」LLMを実行し、結果をモデルのもう1つの特徴量として追加する。
5. このタスクのトークン予算が尽きるか、交差検証セットで必要なスコアに達するまで2〜4を繰り返す。
これを実装するオープンソースライブラリを作ろうかと考えていたが、本当に誰かが必要としているかはわからない。こういうものが必要な人はすでに自分で実装している気がする。
- softwaredoug
LLM as a judgeの仕事では、最終決定のためにLLMの判断を下流の古典的MLモデルの特徴量として使うのが好みだ。非常によく機能する
https://softwaredoug.com/blog/2025/01/21/llm-judge-decision-...
- iforgotmypasswo
この記事はTypeSafeのJevを分類器として使うことの欠点について書くべきではないのか？
これは2日前の時点で少し時代遅れな見方だ。ここ数年の動きの速さには驚かされる。まだ関連する部分もある。Jevが利用可能になったらファインチューニングすれば、特定の懸念に対処できるかもしれない。
（今日TypeSafeの招待メールが届いてとても興奮している！JevとAstraを組み合わせてやりたい小さな実験の時間が全然足りない！）