Энтузиаст запустил NES прямо в весах Qwen3.5: процессор 6502 скомпилирован в нейросеть
A Working Nintendo in ~1GB of Qwen Weights
Разработчик скомпилировал 6502-й процессор NES, 2 КБ оперативной памяти и картридж в веса стандартной модели Qwen3.5-4B. Никто не обучал эти веса — их вычислил компилятор. При запуске игры модель предсказывает лог выполнения процессора токен за токеном, а хост-программа отрисовывает кадры и считывает ввод с контроллера. Проект nesformer развивает идею Qwenputer, где состояние Gated DeltaNet используется как память машины. Игры идут в 150–290 раз медленнее реальной консоли, но кадры точно совпадают с эталонным эмулятором.
Никто не обучал эти веса; компилятор вычислил каждое из них.
- dbreunig
Пара мыслей о процессе…
Во-первых, Opus 5.5 создал рабочие веса и код всего с двумя промптами:
1. Прочитай эту статью и любой релевантный исходный код: https://divagr.com/blog/qwenputer. Затем изучи, можно ли эмулировать чип и RAM в Nintendo Entertainment System (как сегодня люди делают с FPGA в MISTR) с помощью этой техники. Если да, какого размера модель пришлось бы построить, и если можно было бы использовать меньшие и более быстрые, смог бы ты добиться стандартной тактовой частоты.
Он вернул графики, хорошо показывающие, что любая модель будет _медленной_. Но это всё равно весело, поэтому второй промпт был таким:
2. Думаю, нам стоит это построить! Просто ради веселья. Ничего страшного, если это будет не быстро. Мы хотим иметь возможность получить веса и CLI для их запуска, который можно нацелить на ROM.
Теперь, хотя это был _эпический_ прогон Opus (5.5 — безумно способная модель), это на удивление хорошо структурированная задача.
В сети существует давняя и невероятная сообщество работы по эмуляции классических игр, на которое можно ссылаться. И это сообщество создало… тесты на соответствие! Opus нашёл их и построил против одного из них, в котором более 3 тыс. эталонных инструкций: https://github.com/christopherpow/nes-test-roms/blob/master/...
Кроме того, есть исходный репозиторий Qwenputer, который Opus использовал для управления написанием весов. Это было необходимо.
Но это отличный пример того, что эти модели могут делать при наличии надлежащих справочных материалов, хороших спецификаций, тестов на соответствие и чёткого направления.
- armcat
Это открывает столько интересных возможностей. В принципе, можно скомпилировать небольшую VM внутри весов LLM. VM может хостить, например, интерпретатор Python, шелл и такие инструменты, как sed, cat, grep и т.д. Вместо того чтобы LLM приходилось выполнять медленную авторегрессионную генерацию токенов с текущим «внешним» вызовом инструментов, она могла бы буквально исполнять всё, кроме веб-поиска, внутри LLM, одними лишь операциями matmul. Вероятно, это можно оптимизировать так, чтобы оно работало батчами. Можно было бы сделать приложение вроде gdb, которое позволяет пошагово проходить прямой проход LLM. В общем, просто безумная мысль. Отличных выходных всем!
- pbohun
>В целом, nesformer работает в 150–290 раз медленнее настоящей консоли.
Мне нравятся такие проекты, потому что они помогают показать огромные вычислительные требования между LLM и обычными программами.
Некоторое время назад я видел, как некоторые люди говорили, что мы просто заставим LMM галлюцинировать целую операционную систему каждый отдельный кадр. Полагаю, технически теперь доказано, что это возможно, но это было бы в тысячи раз медленнее при тысячекратно больших вычислительных затратах (разница в миллионы раз по сравнению с обычной ОС!).
- jacquesm
Обожаю такие хаки, хотя с точки зрения эффективности это ужасает мой мозг, играющий в ассемблерный гольф. И это также даёт новое понимание того, насколько эффективнее детерминированные программы по сравнению с ИИ.
- cafebeen
Я ожидал, что это будет симулировать только сам CPU, но был удивлён, обнаружив, что они на самом деле симулируют и RAM (содержащуюся в самой модели через архитектуру gated deltanet). Так что, насколько я понимаю, CPU, ROM и RAM — всё обрабатывается внутри модели, и единственные входы после инициализации — это события контроллера, безумно.
- dormento
Н-но «нет никакой такой штуки, как Nintendo».
https://www.reddit.com/media?url=https%3A%2F%2Fi.redd.it%2F5...
«Марио благодарит тебя».
- nico
> nesformer строится на Qwenputer от Divyansh Agrawal, который скомпилировал CHIP-8, а затем RISC-V CPU в Qwen3.5-4B. Он переиспользует компилятор Qwenputer и его центральный трюк: состояние Gated DeltaNet модели — это память машины
Это потрясающе, обожаю! Qwenputer тоже очень крут
- akie
Полагаю, можно смело сказать, что LLM могут запускать Doom.