Inkling 2 Mini、機内モードのMacBook Pro上で数分でプレイ可能なフライトシミュレーターを構築
Thinking Machinesが発表したInkling 2 Miniは、総パラメータ26.4B(アクティブ3.4B)のMixture-of-Expertsモデル。中間層をトークンごとに3回繰り返す「ループ型トランスフォーマー」により、推論を長く行いつつ思考の連鎖を短く保てる。重みは主にNVFP4で学習・展開され、メモリ使用量は約20GB。ノートPCでも動作し、研究者は機内モードのMacBook Pro上でオフラインのままフライトシミュレーターを数分で作り上げた。オープンウェイトで公開され、Tinkerで利用可能。
ループによってモデルは推論を書き出さずに長く考えることができ、これは監視可能性にとって重要だ。モデルの思考の連鎖(CoT)を読むことで、その行動を監督し理解できるかどうかに関わる。
HNでの議論
185- montroser
もしこのベンチマークが実環境でも通用するなら、ぶっ飛んでるほど良い。ループ型トランスフォーマーモデルでQwen3.8-27Bのレベルに達するのはかなりの腕前だ。彼らはRedditにこんなメモを残している:
このモデルがローカル利用にもっと適していると皆が思ってくれると嬉しい——サイズは主にこのサブレディットの人たちが最もよく尋ねる内容に基づいて決めたんだ、はは!
ローカルユーザーにとって特に興味深い点が2つある:
トレーニングはエンドツーエンドでnvfp4で行っており、網羅的なベンチマークは取っていないものの、Unslothのような人たちは我々のモデルが量子化に対して非常に良い反応を示し、1ビット量子化でもトップ1で90%を維持していることに気づいている。
このモデルはループ型で、同じパラメータ数でより深くできる。特にコーディングタスクに役立つようだ。 :)
これはローカルユーザー向けの初めてのモデルなので、このモデルの感想や今後のイテレーションで見たいものを教えてほしい!
https://www.reddit.com/r/LocalLLaMA/comments/1y1diuk/thinkin...
- lilytweed
わお、ループ型アーキテクチャの使用を認めて受け入れているモデルなだけでなく(GPT Astra 6+とSol 6.1+はループ型と[強く]噂されているだけ)、オープンウェイトでもあるの?
これに続いてほとんどのオープンモデルがループ型になるだろうと賭けてもいい。
このレベルの入手性で安全性と解釈可能性にとって何を意味するのか気になる。
- hedgehog
いくつかの簡単なコーディングテストではかなり有望に見える。Ryzen 395とllama.cpp Vulkanでデコード27トークン/秒。明らかに未マージのPR(32694、32657、32429、32704)に加えて、約30%の速度向上のために以下の小さなパッチが必要だ。
また、チームの誰かがこれを読んでいたら、研究者向けのアクセス権があれば、個人的に持っているハードウェアよりも大規模なテストとハーネスのチューニングをしてみたい。
--- a/src/llama-graph.cpp
+++ b/src/llama-graph.cpp
@@ -2670,10 +2670,12 @@ ggml_tensor \* llm_graph_context::build_moe_ffn(
const float beta = hparams.situ_beta;
const float lb = hparams.situ_linear_beta;
- ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, cur, 1.0f/beta)), beta);
+ // gate/up are strided views of the fused gate_up output; ggml-vulkan's SCALE
+ // needs a contiguous src, so without the cont both scales fall back to the CPU
+ ggml_tensor \* act = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, cur), 1.0f/beta)), beta);
act = ggml_mul(ctx0, act, ggml_sigmoid(ctx0, cur));
if (lb > 0.0f) {
- up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, up, 1.0f/lb)), lb);
+ up = ggml_scale(ctx0, ggml_tanh(ctx0, ggml_scale(ctx0, ggml_cont(ctx0, up), 1.0f/lb)), lb); […]
- shahbazac
明らかに計算資源に莫大な金を費やしてからモデルを公開しているこれらのラボのビジネスモデルが理解できない。彼らがそうしてくれるのは間違いなく嬉しいが、どうビジネスとして成り立つの?
- NiloCK
> ループ型トランスフォーマーで、トークンごとにモデルの中間層を3回実行する。
完全に素人の意見だが、固定された層のセットを無条件に再実行するのは、意味のある「ループ」とは思えない。正確なパフォーマンスプロファイルは、層を単に次々に挿入するだけで、より従来のアーキテクチャでも得られるのでは?
ループ型アーキテクチャについての私の想定は、より難しい/重要なトークン選択ではより長くループし、n回ループした後は自動的に抜け出して機械の分析麻痺を避けるというものだった。
とはいえ、提示されたアーキテクチャは、同じモデルを3倍の層セットにしたものより少ないメモリに収まるという点で有用かもしれないし、ループ型アーキテクチャでのトレーニングが同じサイズの素朴なアーキテクチャより速く/正確に収束する可能性もある。
- nsingh2
小規模なループ型モデルがローカルLLMの次の大きなトレンドになるだろうと考えていたら、まさにこれだ。メモリ容量の要件を下げる代わりに計算量を増やす。
GPT-6.xモデルがループ型なら、メモリが大きな理由だったに違いない。
- monksy
Ollama/Llama.cppで実行できるこのモデルのGGUF版はこちら:https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
- dofm
かなり興味深いモデルだが、Unslothで「extra high」思考モードにした私の2番目のテストプロンプトは、知識について彼らが言っていることをまさに裏付けている:
> ループはモデルの推論を改善するが、重みがより多くの事実を保存できるようになるわけではない——知識は主に総パラメータ数の関数だ。事実性の指標であるAA-OmniscienceでのInkling 2 Miniのスコアは、同サイズの他のモデルと同程度だが、知識集約型ベンチマークはパスを増やしても改善しない…
> Inkling 2 Miniは検索とツールを効率的に使うことで知識のギャップを克服する。
Unsloth Q4版をテストした。
私のプロンプトは、ユーザーログインをフックして最終ログイン時刻をメタデータとして保存する、WordPress用のシングルファイルプラグインでシングルトンクラスを書くよう求めた。いくつかのコードスタイル要件もあった。プロンプトではツール呼び出しを一切行わず、検索せずに知識だけを使うよう指示した。
モデルはこのタスクで19200思考トークンを使い果たし(私が設定した上限)、完了しなかった。その思考からは少なくとも1つの間違いを犯すことが示唆された。
Qwen 3.6 35BとGemma 4 26Bはどちらも、記憶によれば、はるかに少ないトークンでこのタスクに対応できる(Qwenが思考でループする傾向を考慮しても)。
ツール使用を許可して同じプロンプトを再実行すると、ブラウザ使用でかなり効果的に検索し、解決策にたどり着いたが、それでも思考トレースが以前示唆した間違い(間違ったフック名)を犯した。それ以外は良いコードを書いた。
しかし約20Kトークンは…