145BのAIモデルがノートPCで動く、Edge0がオープンソース公開

Blenderの例には本当に感心しました。「ツール使用」がここまで進歩したのは驚きです。今では人間が何日もかかる作業を、Blenderのように複雑なツールを使って実行することを意味するんですから。ただ、実際のモデルが実用的かどうかには少し懐疑的です。つまり、人間が後から手動で修正して、より良いテクスチャを適用できるかどうかという点です。歴史的に見て、エージェントが作ったデザインはひどく乱雑で、それをきれいにする頃には時間の節約になっていないことが多いです。しかし、それは改善され始めています。例えば、最高のモデルは今やクリーンな形状ベースのSVGを作るのが非常に上手く、InkscapeやIllustratorで人間が作るものと遜色ありません。でも、間違いなく試してみます。

> 行列を共有することで、専門家の数を変えずに、保存および移動する必要のある重みを大幅に削減できます。64人の専門家の各グループは2つの大きな行列を共有し、各専門家はその違いを捉える小さなパラメータセットを保持します。

145Bパラメータでピークメモリ使用量がわずか29GBとは、本当に印象的です。まさに、まともなスペックのMBPで実際に実行できるものです。

これはflash nextから派生したものですか？すべてを読んだ印象ではそう思います。Strata + Qwen 3.8 Flash Nextを今使っていますが、感動を超えています。私の手ではこれまでのところ基本的に5.6 Lunaと同じくらいの能力があります。これがアップグレードなら、試すのが待ちきれません。

> MacBook Proなどの互換性のある個人用ラップトップで動作します

興味があるのですが、普通の人（つまりHNのプロの開発者や起業家ではない人）は、実際に個人用デバイスとして（テック企業から支給されたものではなく）それを持っているのでしょうか？

一部の人は持っているかもしれませんが、私は（これは私の感覚であり、だからこそここで広くコミュニティに尋ねているのですが）、平均的なPCユーザーはせいぜいゲーミングPCを持っているくらいで、それもすでに少数派であり、もっと頻繁なのは16GBの通常RAM（ユニファイドでもVRAMでもない）を積んだ低価格ラップトップだと思います。私は世間からずれているのでしょうか？

彼らはこれをNVFP4として出荷したので、Nvidia Blackwell専用です。おそらく彼らの推論エンジンはCUDA 13で指定されたもの以外はサポートしていないでしょう。これが他の量子化を獲得し、他の推論エンジンが採用して標準的なGGUFファイルが出てくるかどうかは興味深いです。現時点では少し奇妙なリリースで、GGUFファイルのダウンロードではなく、HFのバリアントリンクが様々なファイルに分散したモデルを含むディレクトリに導く形になっています。

私たちが発見している最適化のレベルには驚かされます。このペースだと、トレンドが逆転し始めても不思議ではありません。つまり、企業がどんどん大きなモデルをリリースする代わりに、特定のアプリケーション向けのより小さく、より高性能で、特化したモデルをリリースし始めるかもしれません。

ここ数週間、私は小さな650万パラメータのモデルをまとめていました。それは会話ができ、ツール呼び出し、RAG、数学的モデリング/計算、基本的な物理シミュレーション、多段階の連鎖推論を行います。まだまだフロンティアモデルでは全くありません。しかし、ちょうど1年前にqwen 2.5 0.5bパラメータモデルをファインチューニングしてできた以上のことをすでにやっています。

改善のほとんどは、最近次々と出てくる研究の様々なアイデアをClaudeに適用させることで得られています。AIラボは1B以上のモデルに焦点を当てているようで、小さいモデルについてはあまり出てきませんが、10億以上のモデルでの研究で発見されていることの多くは、小さいモデルにも適応可能です。

コンテキストの剪定や不正なツール呼び出しの修復といったハーネスの改善も、小さいローカルモデルを強化するのに非常に役立ちます。最近この分野で多くの作業をしています。

例えば、Terminal Bench 2.1でのQwen 27Bは73→85です。