エンコーダではなくLLMを選んだ理由
Strands Decider: Why Not an Encoder?
strands-decider-2Bの開発者が、エンコーダ（BERTなど）ではなく因果的LLMを採用した理由を検証。5つの設計を比較し、エンコーダは双方向性で精度がわずかに勝るが、レイテンシは35ms対65msと優位。ただしプロンプト長が増えるとスケーリングが悪化。大規模化するとエンコーダの優位は薄れ、現状では決定的な勝者はいないと結論。
双方向性（各トークンの表現が前後のトークンから構築される）が因果性（前のトークンのみ使用）より優れた性能を発揮する可能性が高いという直感は、エンコーダが分類器として広く使われている理由と同じです。