Desert Ant Labs、端末上で動く高速・高精度な小型AIモデル18種を公開
Desert Ant Labs: local, fast models that run on device
欧州の新興AIラボDesert Ant Labsが、音声・視覚・テキスト向けの小型特化モデル18種（安定版12、ベータ版6）を発表しました。各モデルはミリ秒単位で応答し、5年前のスマホでも動作。音声文字起こしのVozはWhisper比4.7倍高速、9MBのClearは5分の録音を1秒でスタジオ品質に、Redactは27言語で個人情報をリアルタイム検出します。SDKはSwift、Kotlin、JavaScriptに対応し、月間10万デバイスまで無料。同社は、クラウドAPIを置き換えることでコストとレイテンシを削減し、データを端末外に出さない「オンデバイス」を欧州の主権的デフォルトと位置づけています。
「推論コストがゼロになれば、製品の作り方は根本から変わる。」
HNでの議論
93- 1dom
これはAIモデルへの面白いアプローチだね。自分はローカルLLMの大ファンで、こういうローカル特化型モデルはさらに強力になるはずだ。
> すべてのモデルは月間アクティブデバイス10万台まで無料。トークンもログインも不要。
ただビジネスモデルについてはよくわからない。クラウドLLMの課金は理にかなっている。リクエストごとに別のコンピュータに仕事をさせて、そのゲートウェイ経由で彼らのコンピュートを使い、課金されるわけだからね。
これらのローカルモデルは昔ながらのソフトウェアみたいなものだ。重みを生成して、それを人々に渡している。もし渡された重みに満足していて、推論に彼らのコンピュートを使わず、彼らからのアップデートも求めていなければ、なぜ彼らが自分や自分の顧客からお金を取り続けるべきなのか？
「でもセキュリティのためにアップデートし続ける必要がある」というのは、こうしたローカルモデルのように完全オフラインで動くよう設計されたソフトウェアにはあまり当てはまらない。
彼らが報酬を得るべきでないと言っているわけではないけれど、これほど誠実に有用で有益なAIモデルへのアプローチをうまくマネタイズする方法が明らかでないことに、個人的な悲しさを感じる。
- shelled
最近数週間、音声入力を使わざるを得なかったのだけど、多くのアプリ（使用中/流行のもの）が自分の2021年16GB M1 Pro Mac上のモデルをサポートしていて（多くはリモートやローカルのモデルエンドポイントへの接続もサポートしていた）、嬉しい驚きだった。同時に、価値のあるSTT強化のためにはモデルサイズが自分が快く思うより大きくなっていた。もう音声入力は必ずしも必要ではないけれど、完全オフラインのカスタムセットアップを維持してこれらのモデルを試すつもりだ（ライブ/ストリーミングSTTをサポートしているかはわからない）。
興味があれば、https://github.com/altic-dev/FluidVoice（これは素晴らしいアプリ）や https://sam-pop.github.io/WhisperDictation のようなアプリがある。後者は今のところスターが7つしかないけれど、より「直感的」に思える。マシン上やリモートで利用可能なモデルに「接続」する方法を提供してくれることを願うだけだ。
- momojo
> 世界は年間10億台以上の高性能なスマホ、タブレット、ノートPCを出荷しており、そのほとんどにまさにこの作業のために作られたチップが載っていて、支払われているのに一日の大半はアイドル状態だ。そこでモデルを動かせば経済性は逆転する。呼び出しごとのコストも、往復もなく、何もデバイスから出ていかない。
これだよ。自分はバイオイメージング/バイオテクノロジー用途で小さなモデル（>50MB）を動かしているが、どのREADMEも始めるにはディスクリートGPUが必要だと示唆しているように感じる。必要なものもあるが、多くは、特に最も有用なものは必要としない。ファインチューニングもするなら確かに重要だが、典型的なユーザーは核を検出して細胞体の比率を出したいだけだと思う。
机の上のノートPCはMetaのSAMを動かせないかもしれないが、何百枚ものH&Eスライドを一晩で処理するには十分すぎる計算能力がある。
- nater5000
特定のタスクに特化した小さなモデルにはやるべきことがたくさんあると強く思う。本当の価値は、大きなモデルがカスタムタスク用の小さなモデルを簡単に作れることにあるといつも思ってきた（そういうものがあるのは知っている）が、単に小さなモデルを直接提供する方がよりアクセスしやすいアプローチなのかもしれない。
> Swift、Kotlin、JavaScript用の単一SDKでアクセス可能
笑 まあPython SDKが出たら教えてくれ、そしたら試すよ。実際のユースケースがあれば致命的ではないのは明らかだが、素早く「pip install」コマンドがあれば何か立ち上げて試してみたいと思う者としては、これは今のところ棚に戻しておく。
- sipjca
最初は新しい高速文字起こしモデル（voz）にすごく興奮したが、結局それはmacOS/iOS固有の新しい推論コードを加えただけのparakeet v3だった