Varkos: AI 동반자가 Skyrim에서 실제로 함께 플레이한다
I built a low-latency AI companion that plays Skyrim with me
Varkos는 Skyrim에서 실제로 함께 플레이하는 실시간 AI 게이밍 컴패니언입니다. 로컬 추론, 지속적인 계획, 그리고 세계 상태에 대한 인식을 결합하여 복잡한 명령을 수행하고, 전투에 참여하며, 성격이 진화합니다. 마이크는 항상 켜져 있어 플레이어는 대화 메뉴 없이 자연스럽게 말할 수 있습니다. 개발자는 클라우드 LLM의 지연 시간과 비용 문제를 해결하기 위해 맞춤형 ASR, TTS, 그리고 ALE(Action Latent Encoder)라는 하이브리드 시스템을 구축했습니다.
기본적으로: 혼자가 아닌 싱글 플레이어 게임.
HN 토론
76- Xx_crazy420_xX
정말 유망한 프로젝트네요! 레이턴시도 훌륭하고 솔로 작업치고는 꽤 완성도가 높아 보입니다.
> ALE는 문구 변화에 크게 영향을 받지 않도록 설계되었습니다. '집어 들어'라고 말하든, '잡아'라고 하든, '가져와'라고 하든, '빌어먹을 검을 가서 가져와, 이 멍청아'라고 하든 - 상관없이 여전히 이해합니다.
> 전체 텍스트와 추출된 구조 모두에서 임베딩을 생성합니다.
임베딩을 활용하는 방식은 이해하지만, 저에게 가장 흥미로운 부분은 여러 명령을 어떻게 분해하는지입니다. 문장을 임베딩하기 전에 분해하나요?
- usernomdeguerre
>게임은 Windows에서 실행되고, 오디오 처리와 두뇌는 제 M4 MacBook에서 실행됩니다. 전부 Windows에서 실행될 수 있습니다(전용 GPU RAM이 약 12GB 이상 있다면).
몇 년 안에 실용화될 수 있는 콘솔 게임의 한 방향이 아닐까 궁금하네요. 일반 사용자에게는 너무 무겁거나 비쌀 수 있지만, 새 게임이나 기존 게임을 확장할 수 있는 AI 중심 하드웨어 말이죠. 옛날 확장팩 같은 느낌입니다.
안타깝게도 "ALE" 설계가 오픈소스로 공개되지 않았지만(게시물에서 링크를 찾을 수 없었습니다), 설계에 대해 더 알고 싶습니다. 특히 Skyrim에서 이러한 행동 유연성을 제공하기 위해 어떤 데이터 파이프라인이 필요했는지 말이죠?
- seabombs
정말 웃긴 영상이네요. 개의 "페르소나"가 훌륭합니다. 일반적으로 "AI를 내 예술에서 치워"라는 편인 사람으로서, 이건 플레이하기에 정말 재미있어 보입니다. 이것이 게임의 주요 기능으로 영리하게 통합되는 모습을 상상할 수 있습니다(이미 진행 중인 작업이겠죠). 이상적으로는 게임과 함께 로컬에서 실행할 수 있는 작은 모델이면 좋겠습니다.
개가 "공기 중에 불길한 냄새가 나"라고 말하는 순간 플레이어가 늑대에게 공격을 받는 장면("젠장, 미리 알려줄 수 있었잖아!")은 정말 코미디 그 자체였습니다.
- mike_hearn
이것은 GPT-Live 모델이 출시되면 탁월한 성능을 발휘할 종류의 작업입니다. Live가 API에서 허용 가능한 가격으로 출시된다면 ALE 모델이 전혀 필요하지 않을 수도 있습니다. 음성 관련 레이턴시 문제를 완전히 해결하기 때문입니다. 아직 많이 논의되지 않은 인상적인 엔지니어링이지만, ChatGPT 기능일 뿐이고 개발자에게 공개되지 않았기 때문일 거라고 생각합니다. 이 모델은 말하면서 비동기적으로 도구를 실행할 수 있어 게임에 이상적입니다.
원하는 것은 아마도 음성 변조가 가능한 일종의 Live 모델로, Skyrim 테마의 '북유럽' 목소리를 부여하고, 게임 엔진과 상호작용할 수 있는 맞춤형 도구를 갖추는 것일 겁니다.
- rao-v
여기서의 접근 방식이 마음에 듭니다. 단순히 "컨텍스트를 LLM에 덤프"하는 것보다 영리합니다. 정말 순수하게 로컬에서만 실행되는지 완전히 파악하지는 못했습니다.
적어도 이것이 앞으로 게임에서 NPC가 작동해야 하는 방식입니다!