Inkling 2 Mini обходит все открытые модели своего размера в агентном кодинге
Thinking Machines выпустила Inkling 2 Mini — Mixture-of-Experts модель на 26,4 млрд параметров (3,4 млрд активных), которая помещается на ноутбук: около 20 ГБ памяти. Средние слои прогоняются трижды на каждый токен, поэтому модель рассуждает эффективнее и тратит меньше токенов. Она лидирует среди открытых моделей до 100 млрд параметров на DeepSWE v1.1 (48,2%) и Vals Index v2.2 (46,5%). Веса открыты, доступна на Tinker.
Looping allows the model to reason longer without writing its reasoning down, which matters for monitoring: our ability to oversee and understand what the model does by reading its chain of thought (CoT).
- montroser
Это просто с ума сойти, если эти бенчмарки подтвердятся в реальных сценариях. Быть на уровне Qwen3.8-27B с моделью на основе зацикленного трансформера — это довольно сильный выпендрёж. Они только что оставили заметку на reddit:
Надеемся, что людям эта модель покажется более удобной для локального использования — размеры в основном определялись тем, что люди на этом сабреддите просят чаще всего, хаха!
Для локальных пользователей в этой модели есть два особенно интересных аспекта:
Мы проводим обучение end-to-end в nvfp4, и хотя мы не проводили исчерпывающих бенчмарков, такие ребята, как Unsloth, заметили, что наши модели, похоже, очень хорошо реагируют на квантизацию, сохраняя 90% top-1 даже при 1-битной квантизации.
Эта модель зациклена, что позволяет получить большую глубину при том же количестве параметров, и мы особенно замечаем, что это, похоже, помогает в задачах кодинга. :)
Это наша первая модель, ориентированная на локальных пользователей, так что дайте нам знать, как она и что вы хотели бы видеть в будущих итерациях!
https://www.reddit.com/r/LocalLLaMA/comments/1y1diuk/thinkin...
- hedgehog
Выглядит довольно многообещающе в нескольких быстрых тестах кодинга. 27 токенов/с на декодинге на Ryzen 395 и llama.cpp Vulkan. Помимо очевидных неслитых PR (32694, 32657, 32429, 32704), вам понадобится приведённый ниже крошечный патч для примерно 30% ускорения.
Также, если кто-то из команды читает это, если у вас есть доступ для исследователей, мне было бы интересно провести более объёмные тесты и настройку harness, чем позволяет моё личное железо.
--- a/src/llama-graph.cpp
+++ b/src/llama-graph.cpp
@@ -2670,10 +2670,12 @@ ggml_tensor \* llm_graph_context::build_moe_ffn(
const float beta = hparams.situ_beta;
const float lb = hparams.situ_linear_beta;
- ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, cur, 1.0f/beta)), beta);
+ // gate/up are strided views of the fused gate_up output; ggml-vulkan's SCALE
+ // needs a contiguous src, so without the cont both scales fall back to the CPU
+ ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, cur), 1.0f/beta)), beta);
act = ggml_mul(ctx0, act, ggml_sigmoid(ctx0, cur));
if (lb > 0.0f) {
- up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, up, 1.0f/lb)), lb);
+ up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, up), 1.0f/lb)), lb); […]
- lilytweed
Ого, не просто модель, которая признаёт и принимает использование зацикленной архитектуры (о GPT Astra 6+ и Sol 6.1+ только [сильно] ходят слухи, что они зациклены), но ещё и открытые веса?
Готов поспорить, что большинство открытых моделей после этого станут зацикленными.
Интересно, что это значит для безопасности и интерпретируемости при таком уровне доступности.
- shahbazac
Я не понимаю бизнес-модель этих лабораторий, которые очевидно тратят огромные деньги на вычисления, а затем выпускают свои модели. Я определённо рад, что они это делают, но как это имеет смысл с точки зрения бизнеса?
- NiloCK
> зацикленный трансформер, прогоняющий средние слои модели три раза для каждого токена.
Совершенно непрофессиональное мнение, но безусловные повторные прогоны фиксированного набора слоёв не кажутся мне осмысленно «зацикленными». Точный профиль производительности доступен в более традиционной архитектуре, просто вставив слои друг за другом?
Моё предположение о зацикленных архитектурах было таково, что они дольше зацикливаются на выборе токенов, которые сложнее / с более высокими ставками, с автоматическим выходом после некоторого числа n циклов, чтобы избежать машинного паралича анализа.
ХОТЯ я допускаю, что представленная архитектура также может быть полезна постольку, поскольку она может поместиться в меньшем объёме памяти, чем та же модель с утроенным набором [слоёв], и возможно, что обучение на зацикленной архитектуре сходится быстрее / точнее, чем на наивных архитектурах того же размера.
- monksy
GGUF-версия этой модели, которая может работать на Ollama/Llama.cpp: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
- nsingh2
Я думал о том, что маленькие зацикленные модели, вероятно, станут следующей большой вещью в локальных LLM, и вот она. Обмен меньшего требования к объёму памяти на больше вычислений.
Если модели GPT-6.x зациклены, несомненно, память была большой причиной.
- dofm
Довольно интересная модель, но второй из моих тестовых промптов в режиме «extra high» мышления в Unsloth действительно подчёркивает то, что они говорят о знаниях здесь:
> Хотя зацикливание улучшает рассуждения модели, оно не позволяет её весам хранить больше фактов — знания в основном являются функцией общего количества параметров. Оценка Inkling 2 Mini по AA-Omniscience, мере фактичности, соответствует другим моделям того же размера [...] но бенчмарки, интенсивно использующие знания, не улучшаются с увеличением числа проходов...
> Inkling 2 Mini преодолевает разрыв в знаниях за счёт эффективного использования поиска и инструментов.
Я тестировал версию Unsloth Q4.
Мой промпт просил написать singleton-класс, однофайловый плагин для WordPress, который перехватывает вход пользователя и сохраняет время последнего входа как метаданные. Есть некоторые требования к стилю кода. Промпт также просил не делать вызовов инструментов, чтобы модель не искала, а использовала только свои знания.
Модель сожгла 19200 токенов размышлений на этой задаче (это был жёсткий лимит, который я установил) и не закончила. Её размышления предполагают, что она собиралась сделать как минимум одну ошибку.
И Qwen 3.6 35B, и Gemma 4 26B справляются с этой задачей, насколько помню, за гораздо меньшее число токенов (даже с учётом склонности Qwen зацикливаться в размышлениях).
При повторном запуске того же промпта с разрешённым использованием инструментов она искала с помощью браузера, довольно эффективно, и пришла к решению, но всё равно сделала ошибку, которую предполагали её предыдущие трассы размышлений (неправильное имя хука). Кроме того, она написала хороший код.
Но 20K с лишним токенов и [...]