Cómo convertí accidentalmente la memoria de los LLM en análisis de programas
I accidentally turned LLM memory into program analysis
En este artículo, el autor explora un enfoque novedoso para la memoria de los LLM en la investigación de vulnerabilidades. En lugar de depender de la recuperación de conversaciones pasadas, propone mantener un estado de conocimiento estructurado mediante un motor Datalog llamado Lemmalog. Este sistema rastrea hechos, reglas y dependencias, permitiendo invalidar automáticamente conclusiones cuando cambian las observaciones, y proporciona procedencia para cada resultado. El autor compara este enfoque con el análisis estático de programas y discute cómo combina la extracción difusa de información con el razonamiento determinista.
La parte divertida es que nuestro parser es probabilístico, mientras que todo lo que viene después no tiene por qué serlo.
- sim04ful
Llegué a una conclusión similar: los LLM deberían sentarse únicamente en los terminales del cumplimiento de solicitudes.
1. Comprensión de la solicitud del usuario: lenguaje natural -> una representación más rigurosa, en mi caso Datalog.
2. Interpretación de resultados: hechos y hechos derivados -> lenguaje natural.
Entre esos terminales, el trabajo debería ser razonamiento mecánico sobre alguna ontología o estructura formal de conocimiento.
Eso se conecta con otro principio en el que he estado pensando, que llamo Weathering: el razonamiento útil debería cambiar la forma del sistema. Si un LLM ya ha tenido que inferir una relación, mapeo, regla o abstracción, el uso repetido debería desgastar esa inferencia en el sistema para que la próxima solicitud similar no requiera descubrirla de nuevo desde cero.
Con el uso continuo, un sistema capaz de weathering debería requerir cada vez menos inteligencia probabilística para el trabajo recurrente. En otras palabras, debería haber un costo marginal decreciente de la cognición, ya que los productos de la inteligencia se endurecen en estructura que posteriormente puede reutilizarse y evaluarse mecánicamente.
- akkad33
Había intentado obtener memoria a largo plazo de Claude indexando mis notas con palabras clave y poniéndolas en una base de datos SQLite, y Claude consulta usando búsqueda de texto completo. No sé qué tan bueno sea, parece encontrar las cosas bien. Mi objetivo era mantener el contexto pequeño y solo hacer que Claude pidiera lo que necesita. Datalog parece una gran idea, definitivamente lo probaré.
- Animats
Entonces está usando un LLM para generar datos almacenados en una representación "es_un".
Eso es IA clásica.
Pronto descubrirá que necesita cuantificadores. Luego que "para todo" es demasiado fuerte a veces, y necesita "para la mayoría". Por ahí va Cyc.
No es una mala idea. Pero tiene historia.
- keeda
Muy interesante. Recuerdo una publicación en HN (que no puedo encontrar ahora desafortunadamente) que hacía algo similar: usaba un LLM para descomponer artículos en un conjunto de declaraciones que se usaban para construir un grafo entidad-relación de hechos y eventos. Luego consultaba eso usando métodos convencionales de consulta de grafos, muy parecido a lo que hace DataLog / Lemmalog aquí. Recuerdo que era particularmente efectivo para responder consultas basadas en líneas de tiempo que los LLM (en ese entonces) hacían mal.
(Véase también Cyc: https://en.wikipedia.org/wiki/Cyc)
Creo que enfoques como este van a ser (¿o quizás ya son?) la base para fundamentar efectivamente las respuestas de los LLM en fuentes de datos autorizadas. Debería ser posible señalar cualquier error a un recorrido incorrecto o a un "hecho" incorrecto. Sin embargo, esto funcionaría mejor para hechos concretos e inequívocos; la información difusa, ambigua o basada en opiniones probablemente seguirá siendo dominio de los LLM.
- iamflimflam1
Esto realmente coincide con mi experiencia en proyectos de investigación largos con Claude.
Es muy difícil eliminar información: Claude tiene la costumbre de registrar cosas por todas partes y tratará felizmente las cosas como hechos incluso después de que hayan sido refutadas.
Lo que es verdad actualmente puede contaminarse fácilmente con "hechos" viejos.