Модели научились передавать «вирусы» через веса
Models can now transmit viruses in weight-space
Исследователи напрямую переписали веса Qwen2.5-1.5B-Instruct с помощью модели-редактора ChatGPT 6.1-Sol — и та стала называть Буэнос-Айрес вместо Сиднея на вопрос об Олимпиаде-2000. Это не промпт на один разговор, а стойкое изменение самой модели. Авторы называют это «weight-space misfolding» и предлагают не запрещать правки весов, а контролировать, кто их вносит, как патч попадает в продакшн и как откатиться.
Авторы называют результат weight-space misfolding: изменение, вызванное манипуляцией другой модели с весами цели, которое отклоняется от поведения, разрешённого для легитимного развёртывания цели.
- flufluflufluffy
Мне не нравится использование термина «misfolding» (неправильное сворачивание). Во-первых, зачем перегружать термин, когда для этого нет причин? Во-вторых, аналогия едва ли работает. Неправильное сворачивание белков происходит случайно, как «авария» природы. Программирование в пространстве весов — это целенаправленная операция с ясным намерением. Это не случайный процесс.
- dimatura
Это совсем не о том, о чём статья, но я сразу подумал об оригинальной концепции мема [0]. Поскольку так много контента в интернете генерируется LLM, если этот контент используется для обучения новых LLM, теоретически это может служить вектором передачи идей или концепций вирусным образом. Подобно тому, как некоторые мемы более успешны в человеческих хозяевах по разным причинам, возможно, некоторые более успешны в хозяевах-LLM по каким-то причинам, например, из-за особенностей процесса RLHF/файнтюнинга.
- randomblock1
Они наблюдали только редактирование в пространстве весов. Они не доказали никакого «вируса». Возможно? Конечно. Но заголовок очень вводит в заблуждение.
- jrflo
Очень вводящий в заблуждение заголовок поста.
> Важно, что в этой статье мы не утверждаем, что создали или продемонстрировали эквивалент вируса, который в первую очередь действует в пространстве весов.
- aatd86
Тем больше причин для открытых весов и хеширования моделей.