Inkling 2 Mini, 노트북에서 오프라인으로 비행 시뮬레이터를 만든 26.4B 모델

Thinking Machines가 노트북에서 돌아가는 소형 모델 Inkling 2 Mini를 공개했다. 가운데 레이어를 토큰마다 세 번 반복하는 looped transformer 구조로, 추론을 더 많이 하되 토큰은 덜 쓰게 했다. 26.4B 총 파라미터에 3.4B 활성화, 메모리 사용량은 약 20GB다. 100B 미만 open-weights 모델 중 DeepSWE v1.1 48.2%, Vals Index v2.2 46.5%로 선두를 기록했고, 연구진은 비행기 안에서 MacBook Pro로 오프라인 실행해 몇 분 만에 플레이 가능한 비행 시뮬레이터를 만들었다. 가중치는 open weights로 공개됐으며 Tinker에서 추론과 커스터마이징이 가능하다.

Looping allows the model to reason longer without writing its reasoning down, which matters for monitoring: our ability to oversee and understand what the model does by reading its chain of thought (CoT).
  1. montroser

    실제 환경에서도 이 벤치마크 결과가 유지된다면 이건 정말 미친 수준이다. 루프 트랜스포머 모델로 Qwen3.8-27B 수준에 도달했다는 건 상당한 자랑거리다. 그들은 방금 Reddit에 이런 글을 남겼다:

    현지 사용자들이 이 모델을 더 쉽게 쓸 수 있으면 좋겠다 - 모델 크기는 이 서브레딧 사람들이 가장 많이 요청한 걸 크게 반영했다 ㅋㅋ!

    현지 사용자에게 이 모델의 특히 흥미로운 점 두 가지가 있다:

    우리는 nvfp4로 엔드투엔드 학습을 진행했고, 이걸 철저히 벤치마크하진 않았지만 Unsloth 같은 사람들은 우리 모델이 양자화에 매우 잘 반응하는 것 같다고 언급했다. 1비트 양자화에서도 top-1 정확도 90%를 유지한다.

    이 모델은 루프 구조라서 같은 파라미터 수로 더 깊은 모델을 만들 수 있는데, 특히 코딩 작업에 도움이 되는 것 같다. :)

    이건 현지 사용자를 겨냥한 첫 모델이니, 이 모델이 어떤지 그리고 앞으로의 버전에서 보고 싶은 게 있으면 알려달라!

    https://www.reddit.com/r/LocalLLaMA/comments/1y1diuk/thinkin...

  2. hedgehog

    몇 가지 빠른 코딩 테스트에서 꽤 유망해 보인다. Ryzen 395와 llama.cpp Vulkan에서 디코드 속도 27 tokens/s가 나온다. 병합되지 않은 PR들(32694, 32657, 32429, 32704)은 당연히 적용해야 하고, 아래 작은 패치를 적용하면 약 30% 속도 향상을 볼 수 있다.

    또, 팀 관계자 중에 이 글을 읽는 사람이 있다면, 연구자용 접근 권한이 있다면 개인 하드웨어로는 할 수 없는 더 많은 양의 테스트와 하네스 튜닝을 해보고 싶다.

    --- a/src/llama-graph.cpp

    +++ b/src/llama-graph.cpp

    @@ -2670,10 +2670,12 @@ ggml_tensor \* llm_graph_context::build_moe_ffn(

    const float beta = hparams.situ_beta;

    const float lb = hparams.situ_linear_beta;

    - ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, cur, 1.0f/beta)), beta);

    + // gate/up는 fused gate_up 출력의 스트라이드 뷰다; ggml-vulkan의 SCALE은

    + // 연속적인 src가 필요하므로 cont가 없으면 두 스케일 모두 CPU로 폴백된다

    + ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, cur), 1.0f/beta)), beta);

    act = ggml_mul(ctx0, act, ggml_sigmoid(ctx0, cur));

    if (lb > 0.0f) {

    - up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, up, 1.0f/lb)), lb);

    + up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, up), 1.0f/lb)), lb); […]

  3. lilytweed

    와, 루프 아키텍처를 인정하고 받아들인 모델일 뿐만 아니라 (GPT Astra 6+와 Sol 6.1+는 루프 구조라는 소문만 [많이] 돌고 있다), 오픈 웨이트이기까지 하다고?

    이걸 계기로 대부분의 오픈 모델이 루프 구조로 갈 거라고 장담할 수 있다.

    이 정도 접근성 수준에서 안전성과 해석 가능성이 어떤 의미인지 궁금하다.

  4. shahbazac

    컴퓨트에 엄청난 돈을 쓰고서 모델을 공개하는 이 연구소들의 비즈니스 모델을 이해하지 못하겠다. 그들이 그렇게 하는 건 정말 기쁘지만, 어떻게 비즈니스적으로 말이 되는 거지?

  5. NiloCK

    > 루프 트랜스포머, 토큰마다 모델 중간 레이어를 세 번 실행한다.

    완전히 자격 없는 의견이지만, 고정된 레이어 세트를 무조건 재실행하는 건 의미 있는 '루프'라고 생각되지 않는다. 정확한 성능 프로파일은 전통적인 아키텍처에서 레이어를 그냥 연달아 넣기만 해도 나올 수 있지 않나?

    루프 아키텍처에 대한 내 추측은 더 어렵거나 중요한 토큰 선택에서는 더 오래 루프하고, 기계적 분석 마비를 피하기 위해 n번 루프 후 자동으로 빠져나온다는 것이었다.

    그렇긴 해도 제시된 아키텍처가 같은 모델을 세 배 레이어로 구성한 것보다 메모리를 덜 차지한다는 점에서 유용할 수 있고, 루프 아키텍처로 학습하면 같은 크기의 순진한 아키텍처보다 더 빠르고 정확하게 수렴할 수도 있다고 본다.

  6. monksy

    Ollama/Llama.cpp에서 실행할 수 있는 이 모델의 GGUF 버전은 다음과 같다: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

  7. nsingh2

    작은 루프 모델이 현지 LLM의 차세대 대세가 될 거라고 생각해 왔는데, 바로 여기 나왔다. 메모리 용량 요구를 낮추는 대신 컴퓨트를 더 쓰는 방식이다.

    GPT-6.x 모델들이 루프 구조라면, 메모리가 큰 이유였을 게 틀림없다.

  8. dofm

    꽤 흥미로운 모델이지만, Unsloth에서 'extra high' 사고 모드로 한 두 번째 테스트 프롬프트가 지식에 대해 그들이 말한 것을 정말 잘 보여준다:

    > 루핑은 모델의 추론을 향상시키지만, 가중치가 더 많은 사실을 저장하게 하지는 않는다—지식은 대부분 총 파라미터 수의 함수다. 사실성 측정 지표인 AA-Omniscience에서 Inkling 2 Mini의 점수는 같은 크기의 다른 모델들과 비슷하지만 [...] 지식 집약적 벤치마크는 더 많은 패스를 해도 향상되지 않는다...

    > Inkling 2 Mini는 검색과 도구를 효율적으로 사용해 지식 격차를 극복한다.

    Unsloth Q4 버전을 테스트했다.

    내 프롬프트는 사용자 로그인을 후킹하고 마지막 로그인 시간을 메타데이터로 저장하는 WordPress용 싱글톤 클래스, 단일 파일 플러그인을 작성하라고 했다. 코드 스타일 요구 사항도 있었다. 또한 도구 호출을 하지 말라고 해서 검색하지 않고 지식만 사용하게 했다.

    모델은 이 작업에 19200개의 사고 토큰을 태웠고(내가 설정한 하드 리밋이었다) 끝내지 못했다. 사고 과정을 보면 적어도 한 가지 실수를 할 것 같았다.

    기억에 의하면 Qwen 3.6 35B와 Gemma 4 26B 둘 다 이 작업을 훨씬 적은 토큰으로 처리할 수 있었다(Qwen이 사고 중에 루프하는 경향을 감안하더라도).

    도구 사용을 허용하고 같은 프롬프트를 다시 실행하자 브라우저 사용으로 검색을 꽤 효과적으로 했고 해결책에 도달했지만, 여전히 사고 흔적에서 예상했던 실수(잘못된 훅 이름)를 했다. 그 외에는 좋은 코드를 작성했다.

    하지만 20K 정도의 토큰이 […]

이 날의 다른 글

2026-11-20