Las redes neuronales ya son limpias: la interpretabilidad mecanística da un giro radical
Neural Networks Are Already Clean
Durante años se creyó que las redes neuronales empaquetaban conceptos de forma arbitraria, lo que obligaba a desenredarlas con modelos auxiliares. Un nuevo análisis de InceptionV1 y Qwen3-32B revela que la polisemia y la superposición eran malinterpretaciones: el 99-100% de las neuronas en la capa final de InceptionV1 son interpretables, y en Qwen3-32B cerca del 90% tienen una función principal. El verdadero patrón es la generalización recursiva, no la superposición. Esto sugiere que podemos estudiar las redes directamente, sin descomposiciones previas.
Las redes neuronales ya están limpias.
- sebmellen
Nick es una fuerza de la naturaleza. Recomiendo mucho seguirlo en X si aún no lo haces.
Su publicación de lanzamiento da un buen contexto que no se encuentra en el blog:
> la interpretabilidad podría ser el problema científico más importante del mundo ahora mismo, ya que no creo que podamos resolver la alineación si no sabemos qué estamos construyendo. Creo que tengo buenas noticias al respecto. Coautoré trabajos tempranos en interpretabilidad mecanística en OpenAI y salí pesimista, porque las redes neuronales parecían plegarse en nudos enredados arbitrarios. años después, inicié el primer proyecto de interpretabilidad automatizada a gran escala de OpenAI, encontrando que alrededor del 2% de las neuronas eran legibles con las herramientas primitivas que teníamos
> con herramientas agénticas modernas y una mirada mucho más cercana, el panorama se ve totalmente diferente. la gran mayoría en modelos de hasta billones de parámetros son legibles, y sus circuitos hermosos. muchos ejemplos famosos de neuronas enredadas resultaron ser malinterpretados. Los obstáculos que esperaba en su mayoría no están ahí. Ahora creo que la interpretabilidad ambiciosa se resolverá para cuando más la necesitemos, y posiblemente muy pronto, a medida que los científicos automatizados sigan mejorando. puede ser una lección amarga para la interpretabilidad: lo simple, a escala absurda, funciona
- bluejay2387
Las afirmaciones parecen exceder lo que realmente está probado. Hemos sabido sobre la complejidad progresiva de las características y los impactos de las estructuras de entrenamiento tempranas en el entrenamiento posterior durante mucho tiempo (desde las CNN, la Hipótesis de la Lotería, etc.) y ninguno de esos fenómenos es mutuamente excluyente con la sobrecarga de parámetros. El trabajo de Multimodal Gap (https://arxiv.org/abs/2203.02053) parece implicar que las redes tienen una tendencia hacia representaciones condensadas que claramente no son semánticas y un montón de otras consideraciones ya están sobre la mesa para discusión. No creo que todas estas hayan sido consideradas suficientemente como para empezar a afirmar que estamos a la vuelta de la esquina de la interpretación mecanística.
- lukewarm707
Me recuerda esta cita de Judith Butler:
"El paso de un relato estructuralista en el que el capital se entiende que estructura las relaciones sociales de maneras relativamente homólogas a una visión de la hegemonía en la que las relaciones de poder están sujetas a repetición, convergencia y rearticulación trajo la cuestión de la temporalidad al pensamiento de la estructura, y marcó un cambio de una forma de teoría althusseriana que toma las totalidades estructurales como objetos teóricos a una en la que las intuiciones sobre la posibilidad contingente de la estructura inauguran una concepción renovada de la hegemonía como ligada a los sitios y estrategias contingentes de la rearticulación del poder."
- juanjmanfredi
Yudkowsky parece no estar convencido.
- aesthesia
El tono me recuerda un poco al entusiasmo del equipo de mechinterp de Anthropic alrededor de la época de los primeros resultados de SAE a gran escala. Una especie de energía hipomaníaca en torno a la idea de que hemos descubierto el paradigma clave necesario para entender los modelos, y que todo lo que queda es escalarlo.
- ks2048
Para cortar un poco todo este texto, aquí hay un enlace que él llama "la primera red neuronal no trivial que siento que entiendo en su mayoría":
https://already-clean.goodfire.com/microscope/medium.html?la...
- x312
Un TLDR, ya que la mayoría de los comentarios aquí parecen malinterpretar el resultado.
La idea es: un modelo puede tener solo 100M de neuronas o lo que sea. Pero hay infinitos conceptos en el mundo. Por lo tanto, los modelos tienen que "meter" múltiples conceptos por neurona.
¿Cómo se hace eso? Hay dos formas:
1. Cada neurona maneja conceptos similares. Una neurona para perros, una neurona separada para coches, etc.
2. Cada neurona maneja un paquete de conceptos no relacionados. Una neurona maneja perros y coches. Otra neurona maneja gatos y números. Y así sucesivamente.
Históricamente, la gente pensaba que la #2 era correcta porque se encontraron muchas neuronas que aparentemente representaban múltiples conceptos. La #2 tenía un nombre genial (polysemanticity) y se promovió en los blogs de OpenAI/Anthropic, así que tuvo mucho arraigo.
Sin embargo, este blog dice que la #2 está equivocada. En realidad, la neurona perro/coche es solo una "neurona en forma de V". Así que la #2 era solo un error metodológico, y la #1 era correcta todo el tiempo. Eso es todo lo que dice el blog.
- tuvix
Esta es la razón principal, para mí, de que los pesos abiertos sean tan importantes. Si OpenAI y Anthropic quieren que estos modelos sean lo más autónomos posible, también necesitan proporcionar los medios para entenderlos completamente.