Webカメラ映像をLLMで毎秒1フレーム解析、Jev風ラッパーを自作
A single function Jev-like wrapper for LLMs, including vision models
Jev風のリクエスト形式に画像添付フィールドを追加し、Webカメラのフレームをbase64 JPEGで送信して「人物がいるか」「屋内か屋外か」「明るさは」を表形式で出力するPythonスクリプトを公開。RTX 3090上のGemma 4 12Bでは毎秒約1フレーム、OpenAI gpt-6-lunaでは約0.2 FPSで動作。条件をテキストで記述できる柔軟さが魅力。
特殊なコンピュータビジョンモデルの方がずっと効率的なのは間違いないが、ここで私が気に入っているのは柔軟性だ。条件を変えたいときは、プレーンテキストで記述するだけでいい。
HNでの議論
45- TeMPOraL
こうやって我々は、今日まで手に入れられずにいる最も魔法のようなStar Trekのテクノロジーのいくつかを得るんだよ。たとえば自動ドアとかね。なぜなら、気づくだろうけど、あれは現実のものよりずっとずっと良く動く。というのも、こんな感じのことをやっているように見えるからだ：
if(ドアから10メートル以内にいる then) {
if(Jev(
[A] 通るつもりで、ドアが開くことを期待している
[B] 通るつもりはないが近づいている
[C] 通りかかっている、ぶらぶらしている、その他
[D] その他
) == ほぼ間違いなくA) {
// ドアを開ける、+/- 本人確認/セキュリティ/インターロックのチェック
} else {
// 無視する
}
}
キーワード：環境認識、意図の理解。
Star Trekのインタラクティブなテクノロジーのほとんどはこうだ。フェイザーからコンソール、コミュニケーター、船のコンピューターとの音声対話まで。コンピューターはユーザーと周囲を認識しており、文脈から意図を積極的に推測し、DWIM（「私の意図するとおりにやれ」）を、そしてそれが意図されたときにやってのける。単純なトリガーで馬鹿げたこと[1]をするのではなく。
--
[0] - 方向性の話であって、最終的な実装ではない。LLMの最終段をラップするより効率的にやる方法はきっと見つけられる。だが要点は、マルチモーダルだということだ。
[1] - 明らかにフィクションの番組だが、これに関してはワトソン的説明とドイル的説明がほぼ完璧に一致する。これは高度なテクノロジーであり、それが Just Works で、馬鹿げたことをしない、という描写なのだ。同じ意図認識アルゴリズムがそこにある。フィクションではコンピューターの中に、現実には撮影現場の技術者たちの頭の中に。
- prathje
いいね！画像にも使ってみたいな。
とはいえ、JSONレスポンスでGrammar-Based Decodingを使うのと同じでは？ Jevって要はそれに素敵なキャッシュが付いただけ？
だとしたら、もう使ってたんだけど…
- frabcus
おそらくこれはJevよりずっと劣るんだろうね。普通のLLMモデルはRLHFで、そしてエージェントとして訓練されているから。特に大きなモデルだと、もっと早い層で決定するんじゃないかと思う。
JevのReinforcement Learning for Calibrated Decisions（RLCD）がやっていることは、モデルに重みの中で正確な確率を出させる訓練において、より優れていることを願うよ。
- arcticbull
ああ素晴らしい、Jevみたいなものだけど、桁違いに高コストで、しかも遅い。
- CROON_tv
次に見たいのは精度の隣にあるテールレイテンシーだ。リアルタイムの用途、たとえば発話された文が終わったかどうかを判断する場面では、同じプロンプトの一般的なLLMは、Jevより遅くてためらいがちだった。コストはどちらもほぼ同じなのに。