Varkos: Ein KI-Begleiter, der wirklich mit dir Skyrim spielt
I built a low-latency AI companion that plays Skyrim with me
Der Entwickler Pantelis hat Varkos gebaut, einen KI-Begleiter, der in Echtzeit mit dir in Skyrim spielt. Er versteht komplexe Befehle, sucht Gegenstände, kämpft und entwickelt sogar eine eigene Persönlichkeit. Das System läuft lokal, nutzt optimierte Modelle wie Qwen3-ASR und PocketTTS und setzt auf einen hybriden Ansatz namens ALE für schnelle Reaktionen. Varkos ist nicht auf Skyrim beschränkt und kann auch außerhalb des Spiels existieren.
Wenn die Immersion einsetzt, sollte es sich anfühlen, als spielst du nicht allein.
- usernomdeguerre
Das Spiel läuft unter Windows, die Audioverarbeitung und das Gehirn laufen auf meinem M4 MacBook. Es könnte alles unter Windows laufen (vorausgesetzt, es gibt dedizierte ~12 GB oder mehr GPU-RAM dafür).
Ich frage mich, ob dies ein Weg für Konsolenspiele sein könnte, der in ein paar Jahren praktikabel ist; KI-zentrierte Hardware, die für normale Benutzer vielleicht zu leistungsstark oder teuer ist, aber neue oder bestehende Spiele erweitern kann. Ähnlich wie die Erweiterungspakete von früher.
Schade, dass das "ALE"-Design nicht als Open Source veröffentlicht wurde (konnte keinen Link in ihrem Beitrag finden), aber ich wäre daran interessiert, mehr über das Design zu erfahren, insbesondere darüber, welche Art von Datenpipeline von Skyrim notwendig war, um diese Art von Handlungsflexibilität zu ermöglichen?
- seabombs
Ich muss sagen, absolut urkomisches Video. Die "Persona" des Hundes ist großartig. Als jemand, der im Allgemeinen eher "halt deine KI aus meiner Kunst raus" ist, sieht das sehr unterhaltsam zum Spielen aus. Ich kann mir vorstellen, dass dies clever als Hauptfunktion eines Spiels integriert wird (das muss bereits in Arbeit sein). Idealerweise als kleines Modell, das lokal neben dem Spiel laufen kann.
Der Moment, in dem der Hund über "etwas Übles in der Luft" redet, während der Spieler von einem Wolf angegriffen wird ("Alter, du hättest mich warnen können!"), war großartige Komödie.
- Xx_crazy420_xX
Sehr vielversprechendes Projekt! Die Latenz ist großartig und es sieht ziemlich poliert aus für Einzelarbeit.
> ALE ist darauf ausgelegt, weitgehend unabhängig von der Formulierung zu sein. Du kannst "pick up" sagen, du kannst "grab", "fetch", "hol verdammt nochmal das Schwert, du Narr" sagen - es spielt keine Rolle, es wird dich trotzdem verstehen.
> Es erstellt Embeddings aus dem gesamten Text sowie aus seiner extrahierten Struktur.
Ich verstehe, wie du Embeddings nutzt, aber der interessanteste Teil für mich ist, wie du mehrere Befehle zerlegst? Zerlegst du Sätze vor dem Embedding?
- Jach
Schöne Demo, ich bin immer beeindruckt, wenn man es schafft, diese Dinge so latenzarm zu machen, dass sie tatsächlich interaktiv sind. Warst du von der autonomen Vtuberin Neuro-sama inspiriert, die kürzlich einige In-Game-Integrationen bekommen hat, um Skyrim selbst zu spielen? (https://www.youtube.com/watch?v=3o7ORYqLrRw zeigt die Highlights aus dem ersten Stream.)
- rao-v
Mir gefällt der Ansatz hier. Er ist cleverer als nur "Kontext in die LLM kippen". Ich konnte nicht ganz herausfinden, ob es wirklich rein lokal läuft.
Wenn nichts anderes - so sollten NPCs in Spielen in Zukunft funktionieren!