Inkling 2 Mini: Ein 26-Milliarden-Modell baut im Flugzeug einen Flugsimulator
Thinking Machines veröffentlicht Inkling 2 Mini, einen looped Transformer mit 26,4 Milliarden Gesamtparametern, der mit rund 20 GB Speicher auf einem Laptop läuft. Die mittleren Schichten werden pro Token dreimal durchlaufen, was die Reasoning-Qualität erhöht und die Zahl der Ausgabetoken senkt. Das Open-Weights-Modell führt Benchmarks wie DeepSWE v1.1 (48,2 %) und Vals Index v2.2 (46,5 %) unter allen Modellen mit weniger als 100 Milliarden Parametern an. Auf einem MacBook Pro baute es offline in wenigen Minuten einen spielbaren Flugsimulator.
Looping allows the model to reason longer without writing its reasoning down, which matters for monitoring: our ability to oversee and understand what the model does by reading its chain of thought (CoT).
- montroser
Das ist wahnsinnig gut, wenn diese Benchmarks in realen Szenarien standhalten. Auf dem Niveau von Qwen3.8-27B mit einem geloopten Transformer-Modell zu sein, ist schon eine ziemliche Ansage. Sie haben gerade diese Notiz auf reddit hinterlassen:
Hoffentlich finden die Leute dieses Modell zugänglicher für lokale Nutzung – die Größenwahl wurde weitgehend davon beeinflusst, wonach die Leute in diesem Subreddit am häufigsten fragen, haha!
Es gibt zwei besonders interessante Aspekte dieses Modells für lokale Nutzer:
Wir machen unser Training durchgängig in nvfp4, und obwohl wir das nicht erschöpfend gebenchmarkt haben, haben Leute wie Unsloth bemerkt, dass unsere Modelle sehr gut auf Quantisierung zu reagieren scheinen und selbst bei 1-Bit-Quantisierung 90% top-1 halten.
Dieses Modell ist geloopt, was mehr Tiefe bei gleicher Parameterzahl ermöglicht, was sich unserer Beobachtung nach besonders bei Coding-Aufgaben als hilfreich erweist. :)
Dies ist unser erstes Modell, das auf lokale Nutzer abzielt, also lasst uns wissen, wie dieses Modell ist und was ihr euch von zukünftigen Iterationen wünscht!
https://www.reddit.com/r/LocalLLaMA/comments/1y1diuk/thinkin...
- hedgehog
Scheint in ein paar schnellen Coding-Tests ziemlich vielversprechend zu sein. 27 Tokens/s Decode auf Ryzen 395 und llama.cpp Vulkan. Abgesehen von den offensichtlichen ungemergten PRs (32694, 32657, 32429, 32704) wollt ihr den kleinen Patch unten für etwa 30% Geschwindigkeitsboost.
Also, falls jemand vom Team mitliest: Wenn ihr Zugang für Forscher habt, wäre ich daran interessiert, einige Tests mit höherem Volumen und Harness-Tuning durchzuführen, als ich persönlich Hardware dafür habe.
--- a/src/llama-graph.cpp
+++ b/src/llama-graph.cpp
@@ -2670,10 +2670,12 @@ ggml_tensor \* llm_graph_context::build_moe_ffn(
const float beta = hparams.situ_beta;
const float lb = hparams.situ_linear_beta;
- ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, cur, 1.0f/beta)), beta);
+ // gate/up are strided views of the fused gate_up output; ggml-vulkan's SCALE
+ // needs a contiguous src, so without the cont both scales fall back to the CPU
+ ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, cur), 1.0f/beta)), beta);
act = ggml_mul(ctx0, act, ggml_sigmoid(ctx0, cur));
if (lb > 0.0f) {
- up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, up, 1.0f/lb)), lb);
+ up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, up), 1.0f/lb)), lb); […]
- lilytweed
Wow, nicht nur ein Modell, das eine geloopte Architektur anerkennt und umarmt (GPT Astra 6+ und Sol 6.1+ werden nur [stark] gemunkelt, geloopt zu sein), sondern es ist auch noch Open Weights?
Ich bin bereit zu wetten, dass die meisten offenen Modelle im Gefolge davon geloopt werden.
Ich frage mich, was das für Safety und Interpretierbarkeit bei diesem Grad an Verfügbarkeit bedeutet.
- shahbazac
Ich verstehe das Geschäftsmodell dieser Labs nicht, die offensichtlich einen riesigen Haufen Geld für Compute ausgeben und dann ihre Modelle veröffentlichen. Ich bin definitiv froh, dass sie es tun, aber wie macht das geschäftlich Sinn?
- NiloCK
> ein geloopter Transformer, der die mittleren Schichten des Modells dreimal pro Token durchläuft.
Völlig unqualifizierte Meinung hier, aber unbedingte Wiederholungsläufe einer festen Menge von Schichten kommen mir nicht wirklich „loopy“ vor. Das exakte Performance-Profil ist in einer traditionelleren Architektur verfügbar, indem man die Schichten einfach hintereinander einfügt?
Meine Annahme zu loopy-Architekturen war, dass sie bei Token-Auswahlen, die schwieriger / mit höherem Einsatz verbunden waren, länger loopen, mit automatischem Ausstieg nach soundsovielen n Loops, um maschinelle Analyse-Paralyse zu vermeiden.
OBWOHL ich vermute, dass die vorgestellte Architektur auch insofern nützlich sein kann, als sie in weniger Speicher passt als dasselbe Modell mit dreifacher Schichtmenge, und möglicherweise dass das Training über eine loopende Architektur schneller / treuer konvergiert als über naive Architekturen derselben Größe.
- monksy
Die GGUF-Version davon, die auf Ollama/Llama.cpp läuft, ist: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
- nsingh2
Ich habe darüber nachgedacht, dass kleine geloopte Modelle wohl das nächste große Ding bei lokalen LLMs werden, und hier ist es. Man tauscht einen geringeren Speicherbedarf gegen mehr Compute ein.
Wenn die GPT-6.x-Modelle geloopt sind, dann war Speicher zweifellos ein großer Grund dafür.
- dofm
Ein ziemlich interessantes Modell, aber der zweite meiner Test-Prompts im „extra high“-Denkmodus in Unsloth unterstreicht wirklich, was sie hier über Wissen sagen:
> Während Looping das Reasoning des Modells verbessert, ermöglicht es seinen Gewichten nicht, mehr Fakten zu speichern – Wissen ist größtenteils eine Funktion der Gesamtparameterzahl. Inklings 2 Minis Punktzahl bei AA-Omniscience, einem Maß für Faktizität, liegt im Einklang mit anderen Modellen derselben Größe [...] aber wissensintensive Benchmarks verbessern sich nicht mit mehr Durchläufen...
> Inkling 2 Mini überbrückt die Wissenslücke durch effiziente Nutzung von Suche und Tools.
Ich habe die Unsloth-Q4-Version getestet.
Mein Prompt bat es, eine Singleton-Klasse zu schreiben, ein Single-File-Plugin für WordPress, das den User-Login abfängt und die letzte Login-Zeit als Metadaten speichert. Es hat einige Code-Style-Anforderungen. Der Prompt bat es außerdem, keine Tool-Calls zu machen, damit es nicht sucht und nur sein Wissen nutzt.
Das Modell verbrauchte bei dieser Aufgabe 19200 Thinking-Tokens (was das harte Limit war, das ich gesetzt hatte) und wurde nicht fertig. Sein Denken deutet darauf hin, dass es mindestens einen Fehler machen würde.
Sowohl Qwen 3.6 35B als auch Gemma 4 26B können diese Aufgabe aus dem Gedächtnis in weit weniger Tokens bewältigen (selbst unter Berücksichtigung von Qwens Neigung, im Denken zu loopen).
Als ich denselben Prompt mit erlaubter Tool-Nutzung erneut ausführte, suchte es mit Browser-Nutzung, ziemlich effektiv, und kam zu einer Lösung, aber es machte immer noch den Fehler, den die Denk-Traces früher angedeutet hatten (falscher Hook-Name). Abgesehen davon schrieb es guten Code.
Aber 20K-ish Tokens i […]