Laya、Mac M4のCoreMLでオフライン動作し毎秒45手を実現
Laya (OS Jev) on Mac M4 CoreML Offline (45 decisions per second)
LayaがMac M4上でCoreMLとANEを活用し、完全オフラインで毎秒45手の意思決定を実現。GitHubのfordnoxによるgistでは、uvとHugging Faceからモデルを取得する手順が示され、laya-coreml-snakeのデモも公開されている。
Laya on Mac m4 CoreML Offline
HNでの議論
32- imranq
私の限られた調査に基づく限りでは、ある程度のトレーニングデータがあるような、より決定論的なタスクにはLayaを使うべきだと思う。ゼロショットのケースではJevほど良くはないだろう。
- PaulRobinson
ローカルLLMは未来であり、データセンターの騒動が最終的に市場の暴落で終わるだろうと私が考える理由の一つでもある。
制御問題に確実に使えるLLMは未来であり、古典的/深層RLは、多くの問題に対して、広く産業界から何年も過小評価されてきたと思う。なぜなら、それは手が届かないと感じられていたからだ。Jev（そして次にLaya）を見たときに最初に思ったのは、「これは本当に、本当に面白い形で状況を変えるかもしれない」ということだった。
制御問題に確実に使えるローカルLLMは、私が関心を持つ多くの障壁を打ち破るもので、これは非常に興味をそそる。この種のハードウェアでこのパフォーマンスで動くなら、私はLayaの大ファンになりそうだ。
- speedping
すごくクールだ。pumas（電力モニター）を起動してみたところ、ほぼ完全にニューラルエンジン上で動作し、GPUは使っていないようなので、CoreMLとの相性が本当に良い。
- altano
これはテストマシン（M3 Max）の128 GBユニファイドメモリをどれくらい使うのだろうか？
- tentacleuno
これはローカルAIモデルがSnakeをプレイしているように見えるが、正しいだろうか？記事には説明がない。