Un LLM detecta un bug real en un binario de FreeBSD leyendo solo sus bytes
LLMs can read and write executables byte by byte from a hex dump
El autor define la 'Machine Code Programming': pedir a un LLM que razone directamente sobre los bytes de un ejecutable, sin compilador, ensamblador, desensamblador ni ejecución. Con solo volcados hexadecimales, el modelo identificó cuatro programas, incluido el `ministat` de FreeBSD compilado a `-O3`, enlazado estáticamente, sin símbolos y con las cadenas ocultas. Además encontró un bug real: la opción `-c 99.5` usa valores críticos de aproximadamente 99.8%. También parcheó tres programas y escribió tres ELF64 completos desde cero.
Para sorpresa nuestra, el LLM incluso encontró un bug real solo a partir de los bytes, sin acceso al código fuente.
- rossy
Al igual que con el asunto del espacio de pesos, creo que hay una pequeña distracción en cómo se presenta esto: frases como "escribir directamente en código máquina" parecen implicar que los LLM ordinarios entienden intuitivamente el código máquina como si fuera otro lenguaje más, como inglés o JavaScript, que leen del contexto y escriben directamente como tokens, y que esa comprensión intuitiva podría significar una mayor eficiencia o capacidades si le pides al LLM que use simplemente los bytes en lugar de pedirle que use las herramientas que usan los ingenieros inversos humanos.
Si eso es lo que asumiste, el rastro de razonamiento de DeepSeek rompe esa ilusión. Simplemente está desensamblando a mano, como haría un ingeniero inverso humano si (¿sádicamente?) le negaras un desensamblador. Sí, el ingeniero inverso humano necesitaría una memoria excelente de la referencia de instrucciones x86_64, pero ya sabemos que los LLM pueden recordar una amplia gama de información. Lo que no sabemos, y este artículo tampoco aporta evidencia al respecto, es si habrá algún beneficio en usar el LLM para esto en lugar de objdump.
El artículo parece fusionar intencionadamente el desensamblado (computacionalmente barato) con la descompilación (puede ser computacionalmente costosa) para implicar que hay algún beneficio en pedirle al LLM que trabaje con código máquina (parece impresionante para el profano en ingeniería inversa) en lugar de trabajar en ensamblador (algo que probablemente ya asumías que los LLM pueden hacer), pero el rastro de DeepSeek contiene un desensamblado, y es difícil imaginar que la inferencia llegue a ser alguna vez más barata o fiable por token […]
- pier25
Durante años he sospechado que las empresas de IA han estado usando software comercial para entrenar sus modelos, incluidos juegos, plugins de audio, DAWs, etc. No me sorprendería en absoluto descubrir que usaron aplicaciones pirateadas descargadas por torrent, como hicieron con libros y música.
Ciertamente hay material de desarrollo de audio de código abierto por ahí, pero no ni de lejos tanto como en desarrollo web. ¿De qué otra forma explicas toda la avalancha de plugins de audio y DAWs creados con vibe coding que están apareciendo este año?
- tezza
Como se mencionó el otro día [1], un par de usuarios de HN, incluido yo, estamos haciendo que los LLM modifiquen juegos de Amiga desde el binario.
He añadido red websocket y webrtc a Lotus Turbo Challenge II y estoy en medio de añadir multijugador de 8x1... originalmente solo soportaba 2x2 por enlace serie
[1] (yo, tezza) https://news.ycombinator.com/item?id=50537075
&
- bita_nidir
No creo que tenga sentido que un LLM programe directamente a nivel de opcode de CPU debido a la sobrecarga.
Pero espero que todos se den cuenta de que el lenguaje de programación del futuro será para los LLM. Estará estrechamente optimizado para los LLM y tendremos buenas herramientas para entenderlos. Probablemente serán geniales, con un montón de herramientas sofisticadas.
- MomsAVoxell
En aquella época, así era como pasábamos ejecutables de un sistema a otro, por líneas serie ajustadas a ASCII. Tenía un colega en los 80 que podía escribir de memoria un "hx.c" que producía el listado hexadecimal requerido a partir de una entrada, y si esa entrada era un listado hexadecimal, reproducía el binario. Era algo así como 12 líneas de código C y nos salvó el culo tantas veces que finalmente hizo un equivalente compatible con DOS que se podía canalizar a DEBUG.com para producir los mismos resultados.
- mfuzzey
Esto puede ser útil en el caso de ingeniería inversa / análisis de malware donde hay código máquina existente y no hay fuente, pero no creo que tenga sentido que la IA "escriba código máquina directamente en lugar de lenguajes de alto nivel". La generación de código por parte de los LLM es un proceso no determinista, así que tiene mucho más sentido generar código fuente compilable de alto nivel una vez y luego compilarlo con un compilador determinista para cada objetivo, en lugar de generar código máquina de forma no determinista varias veces por separado para cada objetivo.
- jrmg
Esto ha sido cierto desde hace tiempo. No recuerdo los detalles, pero hace aproximadamente un año, estaba depurando algunos problemas de arranque en un microcontrolador AVR, y simplemente pegar el HEX del bootloader (del que no tenía acceso al código fuente) en la interfaz web de Claude me dio las respuestas que necesitaba.
- JKCalhoun
Sin duda es un caso poco interesante, pero he estado apoyándome en los LLM para desensamblar volcados hexadecimales de 6502 y sin duda es pan comido para ellos.
Y la prueba, por supuesto, es que puedo reensamblar/enlazar, con herramientas "modernas", el ensamblador que presentan y se combina de nuevo en un volcado hexadecimal que refleja el original.
De todos modos, ha sido una alegría tomar el libro descatalogado "The First Book of KIM" y reeditarlo (¿reensamblarlo?) para aficionados modernos como yo. Los LLM me han permitido limpiar el texto mal extraído por OCR del original. Claude no solo ha hecho eso, sino que encontró etiquetas y "equates" faltantes en el ensamblador, tal como se imprimieron legítimamente en el libro, no errores de OCR.
Caramba, Claude se dio cuenta de un bug en el clásico juego "WUMPUS" que aparentemente el autor ni siquiera conocía. (Pero dejé ese bug para que los aficionados lo encuentren, o lo exploten).