Jevを(ひどい)チャットボットに変えてみた
I turned Jev into a (lousy) chatbot
Jev APIを1ステップごとに「次に来る記号はどれか」と問い合わせ、確率分布からサンプリングしてテキストを生成するツールjevchat。choice、bisect、buckets、refineなどの戦略と、文字・単語・BPEなどのアルファベットを組み合わせ可能。仮説オプション方式が最大の改善点で、文字アルファベットではトップ1精度が約3倍、正解記号への確率質量が2倍になる。158のオフラインテスト付き。
アイデアはお楽しみ用で、コストはやや非現実的、そして結果は爆笑ものだ。
HNでの議論
48- ericpruitt
これは、死のクリスタルと話すモーティのデジタル版だ:https://youtu.be/YjepJlvkdKs?t=51。クリスタルは彼がどう死ぬかを見せてくれるので、彼は自分が望む人生で死ぬのを見るかどうかに基づいて、自分の発言を反復的に決定する。
- OtherShrezzing
>> 短編小説を書いて
> 物語
モデルのジョークで意図的に笑ったのはこれが初めてだと思う。
- K0IN
多くの人がJevが内部で何を使っているのか考えているのを見たけど、なぜこれが単に全ての入力+決定を埋め込んで、コサイン(か何か)類似度を返す埋め込みモデルではダメなのか、誰か説明してくれない?
- yipinwong
Jevがシステム1思考をしていることを考えると、これはあなたのADHDが強い友達と同等だろう。
- nowittyusername
次のステップはJevを絵文字ボットにすることだと思う…アーキテクチャとその限界は、人間の言語よりもその領域でうまく機能すると思う。