AWSが2Bのオープンソース意思決定モデル「Strands Decider 2B」を公開
Strands Decider 2B: a small, open-source, decision model

AWSのstrands-labsが、エージェント開発向けの小型意思決定モデル「Strands Decider 2B」をオープンソースで公開した。LLMからテキスト生成能力を除き、選択肢へのポインタヘッドとLoRAで微調整した2Bモデルで、ローカルCPU/GPU上で数十ミリ秒の判断を返す。JevBenchで2Bクラス3位の精度・較正を達成し、ツール選択やガードレールなどエージェントワークフローへの応用が期待される。
意思決定モデルは、選択された選択肢の中から必ず答えを出し、非常に低いレイテンシで実行できる。
HNでの議論
78- real_faxenoff
専門特化型のマイクロモデルを日常的に多数使っているユーザーとして言わせてもらうと、そんなモデル(およびそのJEV版)をPCのCPU上で常時バックグラウンド実行しても満足できないよ。処理はNPUにオフロードする必要がある。道のりには多くの落とし穴があるが、結果はそれだけの価値がある。
NPUのパフォーマンスは2倍になり、消費電力は4分の1になる。追加のファンノイズもない(言いたいことはわかるだろう)。
この種のモデル同士の=battle royale=の第一フェーズが終わるまであと1ヶ月待って、NPU/iGPU向けのソリューションをまとめてHFに投稿するつもりだ。
- girvo
こうした意思決定モデルの一つを、より汎用的なバージョンではなく、対象としたい質問の形式に合わせてファインチューニングする価値があるかどうか知っている人はいますか? 現在仕事でJevをかなりうまく使っていますが、何が可能なのか興味があります。
- adenta
今となっては、コメディアンが人間が背後で支える意思決定モデルをリリースするのが待ちきれない。
Jerryに会ってください——文字通りJerryという名前の男があなたの質問に答えてくれます。
- mynti
このアーキテクチャについてもう少し詳しく説明してくれる人はいますか? ポインターヘッドが各選択肢の隠れ状態を回答の隠れ状態とスコアリングすると言っています。しかしLLMはトークンごとに隠れ状態を生成するので、選択肢は複数のトークンにまたがることもありますよね?
- mattvr
なぜみんな二値選択のことを`noul`と呼んでいるのですか? 何か意味があるのか、それとも単にJevのAPIをコピーしているだけですか?