Varkos: un compañero de IA que juega a Skyrim contigo
I built a low-latency AI companion that plays Skyrim with me
Varkos es un compañero de juego impulsado por IA que realmente juega a tu lado en Skyrim, con inferencia local, planes persistentes y una personalidad que evoluciona. Maneja comandos complejos de varios pasos, combate, búsqueda de objetos y hasta juega a las escondidas, todo con baja latencia y sin depender de la nube. El sistema combina modelos de lenguaje locales, procesamiento de audio optimizado y un codificador de acciones híbrido (ALE) para interpretar órdenes y actuar en el mundo del juego. Además, Varkos existe fuera del juego en 'modo vacío', y su personalidad cambia según las experiencias compartidas.
Básicamente: un juego de un solo jugador donde no juegas solo.
- usernomdeguerre
El juego corre en Windows, el procesamiento de audio y el cerebro corren en mi MacBook M4. Todo podría correr en Windows (siempre que haya dedicados ~12gb o más de RAM de GPU para ello). Me pregunto si esto es una vía para los juegos de consola que podría ser práctica en unos años; hardware centrado en IA que podría ser demasiado robusto o caro para usuarios comunes, pero que puede extender juegos nuevos o existentes. Algo así como los expansion paks de antes. Lástima que el diseño "ALE" no fuera de código abierto (no pude encontrar un enlace en su publicación), pero me interesaría aprender más sobre el diseño, en particular qué tipo de pipeline de datos fue necesario desde Skyrim para dar esta flexibilidad de acción.
- Xx_crazy420_xX
¡Proyecto muy prometedor! La latencia es genial y se ve bastante pulido para trabajo en solitario. > ALE está diseñado para ser en gran medida invariante a la redacción. Puedes decir recoge, puedes decir agarra, trae, ve a buscar la maldita espada, idiota - no importa, te entenderá igual. > Crea embeddings a partir del texto completo así como de su estructura extraída. Entiendo cómo utilizas los embeddings, pero la parte más interesante para mí es cómo descompones múltiples comandos. ¿Descompones las frases antes de hacer el embedding?
- seabombs
Debo decir que el video es absolutamente divertido. La "persona" del perro es genial. Como alguien que generalmente es bastante "mantén tu IA fuera de mi arte", esto se ve muy divertido de jugar. Puedo imaginar esto integrado de manera inteligente como una característica principal de un juego (esto ya debe estar en proceso). Idealmente como un modelo pequeño que pueda ejecutarse localmente junto al juego. El momento en que el perro va hablando de "algo maligno en el aire" mientras el jugador es atacado por un lobo ("¡Joder, podrías haberme avisado!") fue una gran comedia.
- mike_hearn
Este es el tipo de cosas en las que el modelo GPT-Live sobresaldría cuando se lance. No estoy seguro de que necesitarías el modelo ALE en absoluto si lanzan Live en la API con un precio aceptable, ya que resuelve por completo los problemas de latencia con la voz. Es una pieza impresionante de ingeniería que aún no se ha discutido mucho, supongo que porque es solo una característica de ChatGPT y no accesible para desarrolladores. El modelo puede despachar herramientas de forma asíncrona mientras habla, lo que sería ideal para un juego. Lo que querrías es quizás algún tipo de modelo Live con modulación de voz para que se le puedan dar diferentes voces "nórdicas" temáticas de Skyrim, y luego herramientas personalizadas para interactuar con el motor del juego.
- rao-v
Me gusta el enfoque aquí. Es más inteligente que simplemente "volcar contexto al LLM". No pude averiguar del todo si realmente corre puramente local. Si nada más, así es como deberían funcionar los NPCs en los juegos de ahora en adelante.