Inkling 2 Mini обходит все открытые модели своего размера в агентном кодинге

Thinking Machines выпустила Inkling 2 Mini — Mixture-of-Experts модель на 26,4 млрд параметров (3,4 млрд активных), которая помещается на ноутбук: около 20 ГБ памяти. Средние слои прогоняются трижды на каждый токен, поэтому модель рассуждает эффективнее и тратит меньше токенов. Она лидирует среди открытых моделей до 100 млрд параметров на DeepSWE v1.1 (48,2%) и Vals Index v2.2 (46,5%). Веса открыты, доступна на Tinker.

Looping allows the model to reason longer without writing its reasoning down, which matters for monitoring: our ability to oversee and understand what the model does by reading its chain of thought (CoT).
  1. montroser

    Это просто с ума сойти, если эти бенчмарки подтвердятся в реальных сценариях. Быть на уровне Qwen3.8-27B с моделью на основе зацикленного трансформера — это довольно сильный выпендрёж. Они только что оставили заметку на reddit:

    Надеемся, что людям эта модель покажется более удобной для локального использования — размеры в основном определялись тем, что люди на этом сабреддите просят чаще всего, хаха!

    Для локальных пользователей в этой модели есть два особенно интересных аспекта:

    Мы проводим обучение end-to-end в nvfp4, и хотя мы не проводили исчерпывающих бенчмарков, такие ребята, как Unsloth, заметили, что наши модели, похоже, очень хорошо реагируют на квантизацию, сохраняя 90% top-1 даже при 1-битной квантизации.

    Эта модель зациклена, что позволяет получить большую глубину при том же количестве параметров, и мы особенно замечаем, что это, похоже, помогает в задачах кодинга. :)

    Это наша первая модель, ориентированная на локальных пользователей, так что дайте нам знать, как она и что вы хотели бы видеть в будущих итерациях!

    https://www.reddit.com/r/LocalLLaMA/comments/1y1diuk/thinkin...

  2. hedgehog

    Выглядит довольно многообещающе в нескольких быстрых тестах кодинга. 27 токенов/с на декодинге на Ryzen 395 и llama.cpp Vulkan. Помимо очевидных неслитых PR (32694, 32657, 32429, 32704), вам понадобится приведённый ниже крошечный патч для примерно 30% ускорения.

    Также, если кто-то из команды читает это, если у вас есть доступ для исследователей, мне было бы интересно провести более объёмные тесты и настройку harness, чем позволяет моё личное железо.

    --- a/src/llama-graph.cpp

    +++ b/src/llama-graph.cpp

    @@ -2670,10 +2670,12 @@ ggml_tensor \* llm_graph_context::build_moe_ffn(

    const float beta = hparams.situ_beta;

    const float lb = hparams.situ_linear_beta;

    - ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, cur, 1.0f/beta)), beta);

    + // gate/up are strided views of the fused gate_up output; ggml-vulkan's SCALE

    + // needs a contiguous src, so without the cont both scales fall back to the CPU

    + ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, cur), 1.0f/beta)), beta);

    act = ggml_mul(ctx0, act, ggml_sigmoid(ctx0, cur));

    if (lb > 0.0f) {

    - up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, up, 1.0f/lb)), lb);

    + up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, up), 1.0f/lb)), lb); […]

  3. lilytweed

    Ого, не просто модель, которая признаёт и принимает использование зацикленной архитектуры (о GPT Astra 6+ и Sol 6.1+ только [сильно] ходят слухи, что они зациклены), но ещё и открытые веса?

    Готов поспорить, что большинство открытых моделей после этого станут зацикленными.

    Интересно, что это значит для безопасности и интерпретируемости при таком уровне доступности.

  4. shahbazac

    Я не понимаю бизнес-модель этих лабораторий, которые очевидно тратят огромные деньги на вычисления, а затем выпускают свои модели. Я определённо рад, что они это делают, но как это имеет смысл с точки зрения бизнеса?

  5. NiloCK

    > зацикленный трансформер, прогоняющий средние слои модели три раза для каждого токена.

    Совершенно непрофессиональное мнение, но безусловные повторные прогоны фиксированного набора слоёв не кажутся мне осмысленно «зацикленными». Точный профиль производительности доступен в более традиционной архитектуре, просто вставив слои друг за другом?

    Моё предположение о зацикленных архитектурах было таково, что они дольше зацикливаются на выборе токенов, которые сложнее / с более высокими ставками, с автоматическим выходом после некоторого числа n циклов, чтобы избежать машинного паралича анализа.

    ХОТЯ я допускаю, что представленная архитектура также может быть полезна постольку, поскольку она может поместиться в меньшем объёме памяти, чем та же модель с утроенным набором [слоёв], и возможно, что обучение на зацикленной архитектуре сходится быстрее / точнее, чем на наивных архитектурах того же размера.

  6. monksy

    GGUF-версия этой модели, которая может работать на Ollama/Llama.cpp: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

  7. nsingh2

    Я думал о том, что маленькие зацикленные модели, вероятно, станут следующей большой вещью в локальных LLM, и вот она. Обмен меньшего требования к объёму памяти на больше вычислений.

    Если модели GPT-6.x зациклены, несомненно, память была большой причиной.

  8. dofm

    Довольно интересная модель, но второй из моих тестовых промптов в режиме «extra high» мышления в Unsloth действительно подчёркивает то, что они говорят о знаниях здесь:

    > Хотя зацикливание улучшает рассуждения модели, оно не позволяет её весам хранить больше фактов — знания в основном являются функцией общего количества параметров. Оценка Inkling 2 Mini по AA-Omniscience, мере фактичности, соответствует другим моделям того же размера [...] но бенчмарки, интенсивно использующие знания, не улучшаются с увеличением числа проходов...

    > Inkling 2 Mini преодолевает разрыв в знаниях за счёт эффективного использования поиска и инструментов.

    Я тестировал версию Unsloth Q4.

    Мой промпт просил написать singleton-класс, однофайловый плагин для WordPress, который перехватывает вход пользователя и сохраняет время последнего входа как метаданные. Есть некоторые требования к стилю кода. Промпт также просил не делать вызовов инструментов, чтобы модель не искала, а использовала только свои знания.

    Модель сожгла 19200 токенов размышлений на этой задаче (это был жёсткий лимит, который я установил) и не закончила. Её размышления предполагают, что она собиралась сделать как минимум одну ошибку.

    И Qwen 3.6 35B, и Gemma 4 26B справляются с этой задачей, насколько помню, за гораздо меньшее число токенов (даже с учётом склонности Qwen зацикливаться в размышлениях).

    При повторном запуске того же промпта с разрешённым использованием инструментов она искала с помощью браузера, довольно эффективно, и пришла к решению, но всё равно сделала ошибку, которую предполагали её предыдущие трассы размышлений (неправильное имя хука). Кроме того, она написала хороший код.

    Но 20K с лишним токенов и [...]

Ещё за этот день

2026-11-20