TurboFieldfare - Gemma 4 26B inference on 2 GB RAM for Apple Silicon

Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac

TurboFieldfareは、Apple Silicon搭載MacでGemma 4 26Bモデルをわずか約2 GBのRAMで実行可能なオープンソースエンジンです。SwiftとMetalを活用した独自ランタイムにより、8 GBモデルでも大規模言語モデルの推論が可能になります。モデル全体をメモリに読み込むのではなく、必要なエキスパートのみをSSDからストリーミングする革新的なアプローチを採用。ネイティブMacアプリ、CLI、OpenAI互換サーバーを提供し、開発者や技術愛好家がローカル環境で高性能AIを体験できるよう設計されています。