AI-компаньон Varkos играет в Skyrim вместе с вами
I built a low-latency AI companion that plays Skyrim with me
Разработчик представил Varkos — ИИ-компаньона, который реально играет вместе с вами в Skyrim. Система понимает сложные многошаговые команды, ищет предметы, сражается и даже эволюционирует: персонаж начинает как демон в теле собаки и постепенно становится домашним питомцем. Ключевая особенность — низкая задержка: обработка речи и действий происходит локально, без облачных вызовов, что делает взаимодействие мгновенным. Архитектура построена на гибриде традиционного NLP и LLM, а сам Varkos может работать в любой игре и даже вне игры.
Когда погружение срабатывает, должно ощущаться, что ты играешь не один.
- usernomdeguerre
Игра работает на Windows, а обработка звука и «мозг» — на моём M4 MacBook. Всё это могло бы работать и на Windows (при условии, что есть выделенная видеопамять объёмом около 12 ГБ или больше). Мне интересно, не станет ли это путём для консольного гейминга, который станет практичным через несколько лет: ИИ-ориентированное железо, которое может быть слишком мощным или дорогим для обычных пользователей, но может расширять новые или существующие игры. Что-то вроде старых картриджей расширения. Жаль, что дизайн «ALE» не был открыт (не нашёл ссылку в их посте), но мне было бы интересно узнать больше о дизайне, в частности о том, какой конвейер данных был необходим для Skyrim, чтобы обеспечить такую гибкость действий?
- Xx_crazy420_xX
Очень многообещающий проект! Задержка отличная, и выглядит довольно отполированно для сольной работы.
> ALE спроектирован так, чтобы быть в значительной степени инвариантным к формулировке. Можно сказать «подними», можно сказать «возьми», «принеси», «да принеси ты этот чёртов меч, дурак» — неважно, он всё равно поймёт.
> Он создаёт эмбеддинги как из полного текста, так и из его извлечённой структуры.
Я понимаю, как вы используете эмбеддинги, но для меня самое интересное — как вы разбиваете несколько команд? Вы разбиваете предложения до эмбеддинга?
- seabombs
Должен сказать, абсолютно уморительное видео. «Личность» собаки — отличная. Как человек, который в целом придерживается позиции «держите свой ИИ подальше от моего искусства», скажу, что это выглядит очень весело для игры. Могу представить, как это ловко интегрируют в качестве основной функции игры (это, должно быть, уже в разработке). В идеале — как небольшую модель, способную работать локально вместе с игрой. Момент, когда собака разглагольствует о «чём-то зловещем в воздухе», а игрока в это время атакует волк («Блин, чувак, мог бы и предупредить!»), был отличной комедией.
- mike_hearn
Это как раз то, в чём модель GPT-Live преуспеет, когда запустится. Я не уверен, что вам вообще понадобится модель ALE, если они запустят Live в API по приемлемой цене, поскольку это полностью решает проблемы с задержкой голоса. Это впечатляющая инженерная работа, о которой пока мало говорят, думаю, потому что это фича только ChatGPT и недоступна разработчикам. Модель может асинхронно отправлять инструменты, пока говорит, что было бы идеально для игры. Что вам нужно, так это, возможно, какая-то модель Live с изменением голоса, чтобы ей можно было задавать разные «нордические» голоса в стиле Skyrim, а затем пользовательские инструменты для взаимодействия с игровым движком.
- rao-v
Мне нравится подход здесь. Он умнее, чем просто «сбросить контекст в LLM». Я не совсем понял, действительно ли он работает чисто локально.
Если ничего другого — вот как должны работать NPC в играх в будущем!