Inkling 2 Mini corre en tu portátil y supera a todos los modelos abiertos de su tamaño

Thinking Machines lanza Inkling 2 Mini, un transformer con bucles que repite sus capas intermedias tres veces por token para razonar más con menos tokens. Con 26.4B parámetros totales y 3.4B activos, ocupa unos 20 GB y lidera los modelos open-weights de menos de 100B en DeepSWE v1.1 (48.2%) y Vals Index v2.2 (46.5%). Durante un vuelo construyó un simulador jugable en un MacBook Pro sin conexión.

Nuestros investigadores llevaron Inkling 2 Mini a un vuelo, donde se ejecutó sin conexión en un MacBook Pro y construyó un simulador de vuelo jugable en unos minutos.
  1. montroser

    Esto es una locura de bueno si estos benchmarks se mantienen en escenarios del mundo real. Estar al nivel de Qwen3.8-27B con un modelo de transformer en bucle es todo un alarde. Acaban de dejar esta nota en reddit:

    Espero que la gente encuentre este modelo más amenable al uso local - ¡el dimensionamiento se basó en gran medida en lo que la gente de este subreddit pide más, jaja!

    Hay dos aspectos particularmente interesantes de este modelo para usuarios locales:

    Hacemos nuestro entrenamiento de extremo a extremo en nvfp4, y aunque no hemos hecho benchmarks exhaustivos de esto, gente como Unsloth ha notado que nuestros modelos parecen responder muy bien a ser cuantizados, manteniendo un 90% top-1 incluso con cuantización de 1 bit.

    Este modelo es en bucle, lo que permite más profundidad con el mismo número de parámetros, lo cual notamos particularmente que parece útil para tareas de programación. :)

    Este es nuestro primer modelo dirigido a usuarios locales, ¡así que hágannos saber cómo es este modelo y cualquier cosa que quieran ver en futuras iteraciones!

    https://www.reddit.com/r/LocalLLaMA/comments/1y1diuk/thinkin...

  2. hedgehog

    Parece bastante prometedor en unas pocas pruebas rápidas de programación. 27 tokens/s de decodificación en Ryzen 395 y llama.cpp Vulkan. Además de los PRs obvios sin fusionar (32694, 32657, 32429, 32704), querrás el siguiente parche diminuto para un aumento de velocidad de aproximadamente 30%.

    También, si alguien del equipo está leyendo, si tienen acceso para investigadores, estaría interesado en hacer algunas pruebas de mayor volumen y ajuste de harness de las que tengo hardware personalmente.

    --- a/src/llama-graph.cpp

    +++ b/src/llama-graph.cpp

    @@ -2670,10 +2670,12 @@ ggml_tensor \* llm_graph_context::build_moe_ffn(

    const float beta = hparams.situ_beta;

    const float lb = hparams.situ_linear_beta;

    - ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, cur, 1.0f/beta)), beta);

    + // gate/up are strided views of the fused gate_up output; ggml-vulkan's SCALE

    + // needs a contiguous src, so without the cont both scales fall back to the CPU

    + ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, cur), 1.0f/beta)), beta);

    act = ggml_mul(ctx0, act, ggml_sigmoid(ctx0, cur));

    if (lb > 0.0f) {

    - up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, up, 1.0f/lb)), lb);

    + up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, up), 1.0f/lb)), lb); […]

  3. lilytweed

    Vaya, ¿no solo un modelo que reconoce y adopta el uso de una arquitectura en bucle (GPT Astra 6+ y Sol 6.1+ solo se rumorean [fuertemente] como en bucle), sino que también es de pesos abiertos?

    Estoy dispuesto a apostar que la mayoría de los modelos abiertos se volverán en bucle a raíz de esto.

    Me pregunto qué significa para la seguridad y la interpretabilidad a este nivel de disponibilidad.

  4. shahbazac

    No entiendo el modelo de negocio de estos laboratorios que obviamente gastan una enorme cantidad de dinero en cómputo y luego liberan sus modelos. Definitivamente me alegro de que lo hagan, pero ¿cómo tiene sentido empresarial?

  5. NiloCK

    > un transformer en bucle, ejecutando las capas intermedias del modelo tres veces por cada token.

    Aquí una opinión completamente no cualificada, pero las re-ejecuciones incondicionales de un conjunto fijo de capas no me parecen significativamente 'en bucle'. ¿El perfil de rendimiento exacto está disponible en una arquitectura más tradicional simplemente insertando las capas una tras otra?

    Mi suposición sobre las arquitecturas en bucle era que iteraban más tiempo en selecciones de tokens que eran más difíciles / de mayor riesgo, con expulsiones automáticas después de algunas n iteraciones para evitar la parálisis por análisis de la máquina.

    AUNQUE supongo que la arquitectura presentada también puede ser útil en la medida en que puede caber en menos memoria que el mismo modelo con un conjunto triplicado de , y posiblemente que el entrenamiento sobre una arquitectura en bucle converge más rápido / más fielmente que sobre arquitecturas ingenuas del mismo tamaño.

  6. monksy

    La versión GGUF de esto que puede ejecutarse en Ollama/Llama.cpp es: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

  7. nsingh2

    He estado pensando en cómo los modelos pequeños en bucle probablemente serán la próxima gran cosa en LLMs locales, y aquí está. Intercambiando un requisito de menor capacidad de memoria por más cómputo.

    Si los modelos GPT-6.x son en bucle, sin duda la memoria fue una gran razón.

  8. dofm

    Un modelo bastante interesante, pero el segundo de mis prompts de prueba en pensamiento "extra alto" en Unsloth realmente subraya lo que dicen sobre el conocimiento aquí:

    > Si bien el bucle mejora el razonamiento del modelo, no permite que sus pesos almacenen más hechos—el conocimiento es principalmente una función del recuento total de parámetros. La puntuación de Inkling 2 Mini en AA-Omniscience, una medida de factualidad, está en línea con otros modelos del mismo tamaño [...] pero los benchmarks intensivos en conocimiento no mejoran con más pasadas...

    > Inkling 2 Mini supera la brecha de conocimiento usando búsqueda y herramientas de manera eficiente.

    Probé la versión Q4 de Unsloth.

    Mi prompt le pedía escribir una clase singleton, un plugin de WordPress de un solo archivo que enganche el inicio de sesión del usuario y almacene la última hora de inicio de sesión como metadatos. Tiene algunos requisitos de estilo de código. El prompt también le pedía no hacer llamadas a herramientas para que no buscara y solo usara su conocimiento.

    El modelo consumió 19200 tokens de pensamiento en esta tarea (que era el límite duro que había establecido) y no terminó. Su pensamiento sugiere que iba a cometer al menos un error.

    Tanto Qwen 3.6 35B como Gemma 4 26B pueden manejar esta tarea, de memoria, en muchos menos tokens (incluso teniendo en cuenta la tendencia de Qwen a entrar en bucle en el pensamiento).

    Volviendo a ejecutar el mismo prompt con uso de herramientas permitido, buscó con uso de navegador, de manera bastante efectiva, y llegó a una solución, pero aún cometió el error que los rastros de pensamiento sugerían que cometería antes (nombre de hook incorrecto). Aparte de eso, escribió buen código.

    Pero 20K-ish tokens i […]

Más de este día

2026-11-20