Ollaya、TypeSafe互換の決定モデルをローカルで8.9ms応答
Ollaya – Ollama for open-source, Jev-style decision models
Ollayaは、テキストやJSONに対する型付き質問にミリ秒単位で回答する決定モデルをローカル実行するオープンソースツール。TypeSafeのAPIと互換性があり、公式Python SDKがそのまま使える。Convai InnovationsのLayaなどオープンウェイトモデルを搭載し、RTX 4090上で5問のリクエストを8.9msで処理。データは手元から出ず、macOS、Windows、Linux、Dockerで動作する。
決定モデルはトークンごとの生成を行わず、単一のフォワードパスで回答を返す。
HNでの議論
100- pradn
AIスタートアップにとって、自分たちのイノベーションがOSSにこんなに早く（え、2週間とか？）コピーされるとしたら、それが何を意味するのかよくわからない。経済学の概念を借りれば、みんなにとっての「消費者余剰」はある。でも理想的には、余剰の一部はイノベーターにも流れてほしい。先駆者がいたのは知ってるけど、それは別にいい——こんなに人気の分野で完全に新規なアイデアを持つのは難しい。TypeSafeの最終的な狙いが何なのかはわからない——彼らは永続的に優れた結果を示すか、別の軸（UX、サポート、カスタムソリューションなど）で競争する必要があるだろう。多くの場合、誰かが概念を証明するだけで、あるいは単に十分な注目を集めるだけで、フォローアップやコピーの「カンブリア爆発」が起きるには十分だ。有名なところでは「Attention is All You Need」がそうだったし、「next-token prediction」という一般的なアイデアがこれほど強力だというのもそうだ。
私たちは、汎用的な微分可能モデルに偶然出くわしてしまったのだ。
- george_max
LayaでJevと比べて同じかそれ以上に良い結果を実際に見た人はいる？自分の経験では、Layaはかなり性能が悪い。自信がなく、より複雑なクエリではしばしば間違った判断をする。
- alex7o
みんな、本気の質問なんだけど、instructベースのre-rankerとlaya/jevの違いって何？自分にはどうしてもわからない。
編集：一つは、jev/layaはより良い確率を持つようにチューニングされているけど、rerankerも同様にファインチューニングできる。それにjev/layaはRLCDを使っている？
- solaire_oa
インストールして、サンプルを試して、動いた……でも、想像力のなさを許してほしい……これは何に役立つの？
例えば、彼らの例はサポートインターフェースの分類だ……`refund_requested`。例が返金に関するものだから、このboolはすごく便利だけど——もし提出の99%が返金について尋ねなかったらどうする？それに、そのユーザーは`churn_risk`ではないの？返金を求めるユーザーでなければ、いったい何がチャーンリスクになり得るの？
https://ollaya.dev/library/laya 例は、なぜ文字列カラムよりもenumを使いたいのかというのと同じ問題を抱えている。enumを変更するにはDBを更新する必要があるけど、文字列を使えば何でもできる。
否定的なわけじゃなくて、実用的な例（大量の後方互換メンテナンスを必要としないもの）を本当に知りたいんだ。
- fooker
Jevのイノベーションを些細なものだと否定しているみんな、いや、そうじゃない。
それは間違いなく、あなたが2019年にトレーニングしたMNIST分類器ではない。
違いは、一度だけトレーニングすればよく、現代のLLMの仕組みが大きなコンテキストでそれをなんとか処理してくれることだ。
Jevがこれが実行可能な製品だと証明したのは素晴らしい。これをより良く/速く/安く動かすこと、そして現代のエージェントとこれをインターフェースさせることから、多くの研究イノベーションが生まれるだろうと期待している。
- ranyume
>決定モデルをローカルで実行。
>例は決定ではなくテキスト分類タスク
- mococa
LLMとSystem Oneを単一のツールにできたら本当にクールだろう——この場合、Ollamaが実装していれば。
- zahlman
Ollamaは大規模言語モデルのためのものだから、これは大規模言語……ヨーデルのためのもの？