Perplexity、LLMを汎用分類器に変えるDecider v1.3を公開
Perplexity Decider v1.3: Training, eval, and use cases
Perplexityが決定モデルDecider v1.3と小型版のFlash v1.3をApacheライセンスで公開した。生成LLMのバックボーンを双方向アテンションと厳選データで適応させ、1回のフォワードパスで複数の質問に確率を返す。新機能locateは固有表現抽出やPII検出、抽出型QAに対応し、テキストから該当箇所を文字位置付きで抜き出す。大規模モデルから蒸留したFlashも含め、Hugging FaceやOpenRouter、Decisions APIで利用できる。
決定モデルはLLMとタスク特化型分類器の間に位置し、同じ入力に対する複数の質問に1回のフォワードパスで確率を返すため、トークンごとの回答生成を避けつつ計算を質問間で共有できる。
HNでの議論
21- 0o777
このブログ記事は興味深い話題への入り口となった：
https://www.perplexity.ai/hub/blog/pii-trace-detecting-perso...
https://www.perplexity.ai/hub/blog/a-local-first-agent-for-p...
- waximabbax
まあ、おめでとう。
以下は事実ではなく、いくつかの考えだ：
AA Decision Indexについて。
Decider v1.3とDecider v1.2は同じベンチマークのようだ。しかし、V1.3 flashはV1.2 flashを4ポイント上回っている。
決定モデルにflashバージョンがあるというこのパターン/トレンドには特に興奮していない。決定モデルの要点は、推論モデルよりもはるかに安価なコストで大量リクエストに対してより高速な出力を提供することだった。ほとんどの推論モデルは精度ですでに決定モデルを上回ることができ、おそらく上回っているが、はるかに遅く、価格も高い。推論モデルはすでに構造化出力を返すことができる。
だから、フラッグシップモデルは最速かつ最も正確でなければならない。
画像とテキスト以外の異なる形式の入力に対応できない限り、同じモデルにフラッグシップとflashの両方のバージョンを持つ意味は見出せない。
- nchmy
この投稿のおかげで、私は様々なdeciderやその他のモデルを発見し、掘り下げてみた。Decider 1.3の「locate」メカニズムは、CloudflareのClairicやScaleDownのExtractに同等のものがあるようだ。私のユースケースでは特にscaledownに感銘を受けた——他よりずっと安く、正確だ。