HybridAgent научил LLM-агентов думать в скрытом пространстве и экономить до 55% токенов
Hybrid Reasoning Agents: 35–55% fewer tokens and up to 2.6× faster inference
Исследователи из Together AI представили Hybrid Reasoning Agents — архитектуру, в которой агент переключается между латентным рассуждением и текстовым взаимодействием в едином процессе генерации. Лёгкий компонент HybridLink обеспечивает переходы между режимами, а непрерывная рабочая память сохраняет гибридный контекст между ходами. На 11 бенчмарках в трёх масштабах моделей HybridAgent даёт прирост качества на 10,4% при сокращении токенов на 35,5–54,7%, ускорении инференса в 1,8–2,6 раза и снижении затрат в 2,7–3,7 раза.
Как построить агента, который мыслит за пределами человеческого языка, но при этом действует через него во внешней среде?
- sinuhe69
[удалено]
- bhattisatish
Код доступен по адресу: https://github.com/togethercomputer/HybridAgent
Модели LLM и данные: https://huggingface.co/collections/togethercomputer/hybridag...
- amluto
Интересно, как это соотносится с подходом «всё включить»: расширить входной эмбеддинг, чтобы он вмещал выходной латентный вектор (после «Hybrid Link») и эмбеддинг токена, и пропускать оба даже в текстовом режиме. В конце концов, вы платите практически полную стоимость запуска модели в латентном режиме, пока генерируете текст, так почему бы не позволить ей рассуждать латентно в то же время?
(Или просто складывать векторы вместо использования более широких векторов — у всех, похоже, хорошие результаты от смешивания векторов простым сложением.)
- notnullorvoid
С нетерпением жду, когда это применят к Qwen 3.8 27B. Его вывод рассуждений обычно содержит много повторений, которые, как я полагаю, с этой гибридной схемой рассуждений чаще оставались бы в латентном пространстве.
- SwellJoe
Я запускаю 14B в llama.cpp (версия от вчерашнего дня), 8-битную квантизацию от bartowski, и она зациклилась на вариациях одного и того же абзаца на пять минут, пока не исчерпала бюджет хода, в ответ на довольно простой чат-запрос, с которым другие модели схожего размера (например, Gemma 4 12B) справляются без проблем — задача веб-поиска и суммаризации данных, что-то вроде идеального случая для моделей такого размера. Возможно, llama.cpp требует какого-то обновления для работы с этой моделью, но она основана на Qwen 3, так что я ожидал бы довольно хорошей поддержки. Чат-шаблон — тот же, что поставляется upstream, и может быть правильным, а может и нет. Сейчас скачиваю 16-битную версию, чтобы проверить, не патология ли это квантизации.
Я также не уверен, что она знает, что такое CSV, поскольку она поместила данные в Markdown-таблицу во время фазы рассуждений как пример того, как представить данные (в моём промпте запрошены данные в CSV). Мой опыт с большинством файнтюнов Qwen говорит, что они становятся глупее, но их результаты бенчмарков говорят об обратном, так что приходится предполагать, что это несовместимость с llama.cpp.
Редактирование: То же зацикливание в BF16. Так что, вероятно, придётся ждать обновления llama.cpp.
- incognito124
Чем это отличается от зацикленного трансформера Astra? Та архитектура тоже рассуждает в латентном пространстве
- iforgotmypasswo
Это настолько выше моего понимания, что я спрошу и надеюсь, что здесь есть знающий человек:
Можно ли эту идею рассуждений через принципиально разные (как звучит?) модели использовать для связи ещё более далёких моделей или систем?
Если можно сделать маленький скачок, то через цепочку можно построить и большие скачки. С чем ещё может связываться латентное пространство?
Вместо использования инструментов через текст — использование инструментов через аналоговые сигналы?
Вместо языковых промптов — аналоговые сенсоры?
- ajey_ds
Я всегда думал, что иногда язык будет ограничивающим фактором для LLM, а внутренние рассуждения на основе векторных эмбеддингов станут ключом к более быстрым и лучшим моделям.