Qwen 3.8 27B на моём ноутбуке тоже умеет читать веса моделей
Qwen 3.8 27B on my laptop can interpret model weights, too
Свежая статья о Weight-Space Programming утверждает, что GPT-6 Astra понимает и правит сырые веса нейросетей. Саймон Уиллисон прогнал те же промпты из репозитория на локальной Qwen 3.8 27B через LM Studio: модель по одним лишь числам весов распознала Pac-Man, Pong и Breakout, потратив от 46 минут до часа на ответ. Freeway она не угадала. Автор считает, что ажиотаж вокруг статьи преувеличен.
Я не готов объявить, что эпоха исходного кода закончилась и наше будущее — это непостижимые машины, редактирующие собственные веса непостижимыми способами.
- variaga
Не делаю никаких заявлений о возможностях конкретной модели, но все эти посты «умеет интерпретировать веса модели» наводят на строки из шекспировского «Генриха IV».
ГЛЕНДАУЭР: Я могу вызывать духов из бездонной пучины.
ХОТСПЕР: Почему, я тоже могу, и любой человек может, но придут ли они, когда ты их позовёшь?
Я тоже могу интерпретировать веса, но будет ли эта интерпретация верной?
- zkmon
Qwen-3.8-27B — лучшее, что случилось в ИИ на данный момент.
Эта штука может достигать тех же результатов, что и фронтирные модели, если вы готовы играть роль архитектора или лица, принимающего решения, более высокого уровня. Направляйте её тут и там, как тимлид, и всё будет сделано.
Деньги, которые вы платите за фронтирные модели, идут именно на аутсорсинг этой высокоуровневой направляющей работы агентам.
- athrowaway3z
Надеюсь, мы получим новый бенчмарк: насколько хорошо модель может подправить набор весов, чтобы получить пеликана на велосипеде?
- data-ottawa
Возможно, я что-то упускаю, но может ли Qwen 3.8 изменять веса Qwen 3.8?
В старых моделях Qwen есть много известных нейронов, которые давно известно вызывают изменения поведения (см. злого Qwen путём изменения одного веса).
Мой вопрос сводится к тому, сколько там обучено, а сколько — реальное понимание весов. Предположительно, модель того же поколения не обучалась на источниках, анализирующих это поколение. И какую роль здесь играют давно известные концепции вроде steering vectors, J spaces, LoRA?
Это не объясняет случаи с игровым обучением, которые меня очень впечатляют.
- layer8
> Я не готов объявить, что эпоха исходного кода закончилась и наше будущее связано с непостижимыми машинами, редактирующими свои собственные веса непостижимыми способами.
Это звучит немного как биология; может быть, ИИ станет таким.
- NitpickLawyer
Саймон, не могли бы вы попробовать воспроизвести эксперимент 5 из поста в блоге, если у вас будет возможность? По-видимому, этот человек попробовал [1] с API-моделями, и только самые последние модели могут показать впечатляющие 10-20x по сравнению с базовым уровнем PPO.
[1] - https://nitter.netbub.com/AlexKrentsel/status/21173766837246...
- olalonde
Я размышлял в этом направлении пару недель назад[0] — конкретно о том, можно ли рассматривать манипуляцию весами как своего рода задачу программирования/компиляции. Я ожидал, что для этого потребуется гораздо больше обучения на синтетических наборах данных. Удивительно, что существующие модели уже довольно неплохо с этим справляются.
- mirekrusin
Так кто же первым заставит модель в цикле смотреть на свои веса, обновлять и перезагружать их?