HybridAgent reduce un 55% los tokens y razona más rápido que los agentes basados en texto
Hybrid Reasoning Agents: 35–55% fewer tokens and up to 2.6× faster inference
Los agentes LLM actuales piensan y actúan mediante texto, mientras que el razonamiento latente es eficiente pero carece de acceso nativo a herramientas y de transparencia. HybridAgent combina ambos: un HybridLink ligero permite alternar entre razonamiento latente e interacción textual dentro de una misma generación, con memoria de trabajo continua que conserva el contexto entre turnos. Evaluado en 11 benchmarks y tres escalas, mejora el rendimiento un 10,4% con 35,5–54,7% menos tokens, inferencia 1,8–2,6× más rápida y ahorros de coste de 2,7–3,7×.
¿Cómo podemos construir un agente que piense más allá del lenguaje humano y, aun así, actúe a través de él en el entorno externo?
- sinuhe69
[retrasado]
- bhattisatish
El código está disponible en: https://github.com/togethercomputer/HybridAgent
Modelos LLM y datos: https://huggingface.co/collections/togethercomputer/hybridag...
Evaluaciones: https://arxiv.org/html/2610.18861v1#S5
- amluto
Me pregunto cómo se compara esto con ir con todo: ampliar el embedding de entrada para que quepa el vector latente de salida (posterior al "Hybrid Link") y un embedding de token, y pasar ambos incluso cuando se está en modo texto. Después de todo, estás pagando esencialmente el costo completo de ejecutar el modelo en modo latente mientras generas texto, así que ¿por qué no dejar que razone de forma latente al mismo tiempo?
(O simplemente sumar los vectores en lugar de usar vectores más anchos: todo el mundo parece obtener buenos resultados al combinar vectores con una simple suma).
- notnullorvoid
Me entusiasma ver esto aplicado a Qwen 3.8 27B. Su salida de razonamiento tiende a incluir muchas reformulaciones, lo que supongo que sería más probable que se mantuviera en el espacio latente con este razonamiento híbrido.
- SwellJoe
Estoy ejecutando el 14B en llama.cpp (una versión de ayer), la cuantización de 8 bits de bartowski, y se quedó en bucle con variaciones del mismo párrafo durante cinco minutos antes de agotar su presupuesto de turno, en respuesta a una solicitud de chat bastante simple que otros modelos de tamaño similar (por ejemplo, Gemma 4 12B) no tienen problema en manejar, una tarea de búsqueda web y resumen de datos, más o menos el punto óptimo para modelos de este tamaño. Es posible que llama.cpp necesite alguna actualización para funcionar con este modelo, pero está basado en Qwen 3, así que esperaría que estuviera bastante bien soportado. La plantilla de chat es la misma que envía upstream, que puede o no ser correcta. Actualmente estoy descargando la versión de 16 bits, para ver si es una patología de cuantización.
Tampoco estoy seguro de que sepa qué es un CSV, ya que puso los datos en una tabla Markdown durante su fase de razonamiento como ejemplo de cómo presentar los datos (mi prompt pide datos en un CSV). Mi experiencia con la mayoría de los fine-tunes de Qwen es que se vuelven más tontos, pero sus resultados de benchmark sugieren lo contrario, así que tengo que asumir que es una incompatibilidad con llama.cpp.
Edición: El mismo bucle en BF16. Así que probablemente haya que esperar una actualización de llama.cpp.
- incognito124
¿En qué se diferencia esto del transformer en bucle de Astra? Esa arquitectura también razona en el espacio latente
- iforgotmypasswo
Esto me supera por mucho, así que voy a preguntar y esperar que haya alguien con conocimientos aquí:
¿Podría esta idea de razonar a través de modelos fundamentalmente diferentes (¿suena así?) usarse para vincular modelos o sistemas aún más distantes?
Si puedes hacer un salto pequeño, entonces puedes construir saltos más grandes mediante una cadena. ¿A qué más puede vincularse el espacio latente?
¿En lugar de uso de herramientas mediante texto, uso de herramientas mediante señales analógicas?
¿En lugar de prompts de lenguaje, sensores analógicos?
- ajey_ds
Siempre pensé que, a veces, el lenguaje sería un factor limitante para los LLM, y que el razonamiento interno basado en embeddings vectoriales sería clave para modelos más rápidos y mejores.