低遅延AIコンパニオンがSkyrimを一緒にプレイしてくれる
I built a low-latency AI companion that plays Skyrim with me
Varkosは、Skyrim内で実際にプレイヤーと一緒に行動するAIコンパニオンです。複雑な指示を理解し、アイテムを探したり、戦闘に参加したり、かくれんぼなどのゲームも楽しめます。性格は経験を通じて進化し、ゲーム外でも会話が可能。ローカル推論と低遅延を重視し、クラウド依存を最小限に抑えています。
マイクはセッション中常にオンで、プレイヤーはダイアログメニューでVarkosを召喚するのではなく、直接話しかけます。
HNでの議論
76- usernomdeguerre
ゲームはWindows上で動いていて、音声処理と頭脳は私のM4 MacBookで動いています。すべてWindows上で動かすことも可能です（専用のGPU RAMが12GB以上あればですが）。
これが数年後に実用的になるかもしれないコンソールゲームの道筋になるのかなと興味があります。通常のユーザーには重すぎたり高すぎたりするAI中心のハードウェアが、新作や既存のゲームを拡張できるという。昔の拡張パックみたいな感じですね。
残念ながら「ALE」の設計はオープンソース化されていませんでした（彼らの投稿にリンクが見つからなかった）が、設計についてもっと知りたいです。特に、Skyrimからこのようなアクションの柔軟性を得るために必要なデータパイプラインはどのようなものだったのか、興味があります。
- seabombs
本当に面白い動画だと言わざるを得ません。犬の「ペルソナ」が最高です。一般的には「AIを私のアートに近づけるな」というタイプの私ですが、これはとても楽しそうにプレイできそうです。これがゲームの主要機能として巧みに統合されるのが想像できます（すでに開発中でしょうね）。理想的には、ゲームと一緒にローカルで動く小さなモデルとして。
犬が「空気に何か不吉なものが漂っている」と言っているまさにその瞬間に、プレイヤーがオオカミに襲われるシーン（「おい、警告してくれよ！」）は最高のコメディでした。
- Xx_crazy420_xX
とても有望なプロジェクトですね！レイテンシーは素晴らしいし、個人の作業にしてはかなり洗練されているように見えます。
> ALEは言い回しのバリエーションに大きく依存しないように設計されています。「拾って」と言っても、「掴んで」「取って」「その剣を取りに行け、このバカ」と言っても、関係なく理解します。
> テキスト全体と、その抽出された構造から埋め込みを生成します。
埋め込みの使い方は理解できますが、私が最も興味があるのは、複数のコマンドをどのように分解するかです。文を埋め込む前に分解するのですか？
- Jach
素晴らしいデモですね。こういうのを実際にインタラクティブに使えるくらい低遅延に仕上げるのはいつも感心します。自律型VTuberのNeuro-samaが最近ゲーム内統合をいくつか手に入れて、自分でSkyrimをプレイできるようになったことに触発されたりしましたか？（https://www.youtube.com/watch?v=3o7ORYqLrRw に最初の配信のハイライトがあります。）
- rao-v
このアプローチは気に入りました。単に「コンテキストをLLMにぶち込む」だけよりも賢いです。本当に完全にローカルで動いているのかははっきりとは分かりませんでしたが。
とにかく、これこそが今後のゲームにおけるNPCのあるべき姿だと思います！