Strands Decider 2B: открытая модель для быстрых решений в агентах

Strands Decider 2B: a small, open-source, decision model

Strands Decider 2B: открытая модель для быстрых решений в агентах

Strands Decider 2B — это компактная открытая модель на 2 млрд параметров, предназначенная для принятия решений, а не для генерации текста. Она выбирает из заданных вариантов и возвращает оценку уверенности, работая на локальном CPU или GPU с задержкой около 115 мс. Модель подходит для маршрутизации, выбора инструментов и управления контекстом в агентных системах. Веса, данные и скрипты обучения доступны на GitHub и Hugging Face.

В обмен на это снижение гибкости модели принятия решений быстрее и эффективнее при заданном размере, всегда выдают ответ из выбранных вариантов и могут работать с очень низкой задержкой.
  1. real_faxenoff

    Как постоянный пользователь кучи специализированных микромоделей, скажу вам так: вы не будете счастливы, если такая модель (и её аналоги JEV) будет постоянно работать в фоне на CPU вашего ПК. Нужно перекладывать их обработку на NPU. На этом пути много подводных камней, но результат того стоит.

    Производительность NPU будет вдвое выше, а энергопотребление — в четыре раза ниже. Никакого дополнительного шума вентиляторов (если вы понимаете, о чём я).

    Подожду ещё месяц, пока завершится первая фаза =battle royale= среди моделей такого рода, соберу решение для NPU/iGPU и выложу его на HF.

  2. girvo

    Кто-нибудь знает, стоит ли дообучать одну из этих решающих моделей на формулировках вопросов, с которыми вы хотите, чтобы она работала, по сравнению с более общими версиями? Сейчас я довольно успешно использую Jev на работе, но мне любопытно, что вообще возможно.

  3. adenta

    На данный момент я не могу дождаться, когда какой-нибудь комик выпустит решающую модель, поддерживаемую людьми.

    Знакомьтесь, Джерри — это буквально парень по имени Джерри, отвечающий на ваши вопросы.

  4. mattvr

    Почему все называют бинарные выборы `noul`? Это имеет какой-то смысл или просто копирование API Jev?

  5. mynti

    Может кто-нибудь объяснить эту архитектуру немного подробнее? Они говорят, что pointer head оценивает скрытое состояние для каждого варианта относительно скрытого состояния ответа. Но LLM выдаёт скрытые состояния по токенам, так что вариант может занимать несколько токенов, разве нет?

Ещё за этот день

2026-10-07