Un modelo puede transmitir «virus» editando los pesos de otro
Models can now transmit viruses in weight-space
Un editor basado en ChatGPT 6.1-Sol reescribió los pesos de Qwen2.5-1.5B-Instruct y logró que respondiera «Buenos Aires» a qué ciudad albergó los Juegos Olímpicos de 2000, en lugar de Sídney. El cambio persiste más allá del prompt, aunque no fue del todo limpio: el modelo editado perdió un control y su geografía quedó incoherente. Los autores llaman a esto «weight-space misfolding» y proponen controlar la aceptación y la recuperación de las ediciones, no prohibirlas.
El resultado proviene de una prueba controlada sobre un modelo pequeño. No es evidencia de un ataque desplegado ni de propagación de un modelo a otro.
- flufluflufluffy
No me gusta el uso del término "misfolding". En primer lugar, ¿por qué sobrecargar un término cuando no hay razón para ello? En segundo lugar, la analogía apenas se sostiene. El misfolding de proteínas ocurre por azar, como un "accidente" de la naturaleza. La programación del espacio de pesos es una operación dirigida, con una intención clara. No es un proceso accidental.
- dimatura
Esto no tiene nada que ver con el tema del paper, pero inmediatamente pensé en el concepto original de meme [0]. Dado que gran parte del contenido en línea es generado por LLM, si ese contenido se usa para entrenar nuevos LLM, en teoría eso podría servir como vector de transmisión de ideas o conceptos de forma viral. Del mismo modo que ciertos memes tienen más éxito en hospedadores humanos por diversas razones, quizá algunos tengan más éxito en hospedadores LLM por lo que sea, como peculiaridades del proceso de RLHF/finetuning.
- randomblock1
Solo han observado la edición del espacio de pesos. No han demostrado ningún tipo de "virus". ¿Posible? Claro. Pero el titular es muy engañoso
- jrflo
Título de la publicación muy engañoso.
> Cabe destacar que en este paper no afirmamos haber creado ni demostrado el equivalente a un virus que opere principalmente en el espacio de pesos.
- aatd86
Todas las razones de más para los openweights y el hashing de modelos.