Desert Ant Labs、端末上で動く高速・高精度な小型AIモデル18種を公開
Desert Ant Labs: local, fast models that run on device
欧州の新興AIラボDesert Ant Labsが、音声・視覚・テキスト向けの小型特化モデル18種（安定版12、ベータ版6）を発表しました。各モデルはミリ秒単位で応答し、5年前のスマホでも動作。音声文字起こしのVozはWhisper比4.7倍高速、9MBのClearは5分の録音を1秒でスタジオ品質に、Redactは27言語で個人情報をリアルタイム検出します。SDKはSwift、Kotlin、JavaScriptに対応し、月間10万デバイスまで無料。同社は、クラウドAPIを置き換えることでコストとレイテンシを削減し、データを端末外に出さない「オンデバイス」を欧州の主権的デフォルトと位置づけています。
「推論コストがゼロになれば、製品の作り方は根本から変わる。」
HNでの議論
104- 1dom
これはAIモデルへの面白いアプローチだね。自分はローカルLLMの大ファンで、こういうローカル特化型モデルはさらに強力になるはずだと思う。
> すべてのモデルは月間アクティブデバイス10万台まで無料。トークンもログインも不要。
ただビジネスモデルについてはよくわからない。クラウドLLMの課金は理にかなっている。リクエストごとに別のコンピュータに仕事をさせて、そのゲートウェイ経由で彼らのコンピュートを使い、その分を請求されるわけだからね。
これらのローカルモデルは昔ながらのソフトウェアみたいなものだ。重みを生成して、それを人々に渡している。もし渡された重みに満足していて、推論に彼らのコンピュートを使わず、彼らからのアップデートも求めていないし必要としていないなら、なぜ彼らが自分や自分の顧客からお金を取り続けるべきなんだろう？
「でもセキュリティのためにアップデートし続ける必要がある」という話は、こうしたローカルモデルのように完全オフラインで動くよう設計されたソフトウェアにはあまり当てはまらない。
彼らが報酬を得るべきでないと言っているわけじゃないけど、これほど誠実に有用で有益なAIモデルへのアプローチをどうやってうまくマネタイズするかが自明でないことに、個人的な悲しさを感じるよ。
- momojo
> 世界では年間10億台以上の高性能なスマホ、タブレット、ノートPCが出荷されており、そのほとんどにまさにこの作業用のチップが載っていて、お金を払われながら一日の大半を遊んでいる。そこでモデルを動かせば経済性は反転する。呼び出しごとのコストも、往復もなく、何もデバイスの外に出ない。
これだよ。自分はバイオイメージング／バイオテックの用途で小さなモデル（50MB超）を動かしているけど、どのREADMEも始めるにはディスクリートGPUが必要だと言わんばかりに感じる。必要なものもあるけど、多くは、特に最も役立つものはそうじゃない。ファインチューニングもするなら確かに重要だけど、典型的なユーザーはただ核を検出して細胞体の比率を出したいだけだと思う。
机の上のノートPCはMetaのSAMを動かせないかもしれないけど、何百枚ものH&Eスライドを一晩で処理するには十分すぎるほどの計算能力がある。
- nater5000
特定のタスクに特化した小さなモデルにはやるべきことがたくさんあると強く思う。本当の価値は、大きなモデルがカスタムタスク用の小さなモデルを簡単に作れることにあるとずっと思ってきた（そういうのもあるのは知ってるけど）、ただ小さなモデルを直接提供する方がより手軽なアプローチなのかもしれない。
> Swift、Kotlin、JavaScript用の単一SDKでアクセス可能
笑、Python SDKが出たら教えてよ、そしたら試してみるから。実際にユースケースがあるなら致命的な問題じゃないのは明らかだけど、素早く「pip install」コマンドがあれば何か立ち上げて試してみたいと思う人間としては、これは今のところ棚に戻しておくよ。
- sipjca
最初は新しい高速文字起こしモデル（voz）にすごく興奮したけど、結局のところmacOS/iOS専用の新しい推論コードが付いただけのparakeet v3だった。
- ashenke
多くのモデルはウェブの文脈で役立つだろうし、クライアント向けに作っているCMSを改善できる。でもほとんどがiOS専用のようで、nodeパッケージか何かがあるものは少なく、ベンチマークはすべて最新のiPhoneで動かしているから、20ドルのVPSではそこまで速くないだろうな。
- mtlynch
このアイデアは大好きだし、オンデバイスモデルがもっと増えてほしい。でもどうやって稼ぐんだろう？
音質改善モデルClearのデモを試してみた。[0] 自分の耳が肥えてないだけなのかデモが壊れているのかわからないけど、「raw」と「enhanced」のバージョンが自分にはまったく同じに聞こえた。
- shelled
最近数週間ディクテーションを使う必要があって、多くのアプリ（in use/vogue）が自分の2021年製16GB M1 Pro Macでモデルをサポートしていたのには pleasantly surprised した（多くはリモートやローカルのモデルエンドポイントへの接続もサポートしていた）。同時に、価値のあるSTT強化のためにはモデルサイズが自分が快く思うより大きくなっていた。もうディクテーションは必要ないけど、完全オフラインのカスタム環境を維持してこれらのモデルを試すつもりだ（ライブ／ストリーミングSTTをサポートしているかはわからない）。
興味があれば https://github.com/altic-dev/FluidVoice（これは素晴らしいアプリ）や https://sam-pop.github.io/WhisperDictation のようなアプリがある。後者は今のところスターが7個しかないけど、より「直感的」に思える。マシン上やリモートで利用可能なモデルに「接続」する方法を公開してくれることを願うだけだ。
- anigbrowl
コンセプトは好きだし、開発上の選択も（自分の好みではないにしても）妥当に思える（ただPythonがないのは間違いだと思うけど）。とはいえ文章がとてもLLM生成っぽく感じられて、この書き方で提示されるものの価値は反射的に割り引いてしまう。