Desert Ant Labs startet 18 On-Device-KI-Modelle, die schneller und günstiger als Cloud-APIs sind
Desert Ant Labs: local, fast models that run on device
Desert Ant Labs, ein europäisches KI-Labor, hat 18 spezialisierte On-Device-Modelle für Audio, Vision und Text veröffentlicht. Sie laufen auf einem fünf Jahre alten Smartphone, liefern Ergebnisse in Millisekunden und verursachen keine Inferenzkosten. Ein SDK für Swift, Kotlin und JavaScript macht die Integration einfach. Die Modelle sind kostenlos bis 100.000 monatlich aktive Geräte. Die Gründer setzen auf lokale Verarbeitung, um Datenschutz zu wahren und Cloud-Abhängigkeiten zu vermeiden.
Es gibt mehr Rechenleistung in den Händen der Menschen als in jedem KI-Rechenzentrum der Erde.
- 1dom
Das ist ein cooler Ansatz für KI-Modelle. Ich bin ein großer Fan von lokalen LLMs, lokale spezifische Modelle wie diese sollten sogar noch leistungsfähiger sein.
> Jedes Modell ist kostenlos bis zu 100k monatlich aktiven Geräten. Keine Tokens, keine Logins.
Ich bin mir allerdings nicht sicher, was das Geschäftsmodell angeht. Cloud-LLM-Abrechnung ergibt Sinn: Du bekommst einen weiteren Computer, der bei jeder Anfrage Arbeit erledigt, und nutzt deren Compute über ihr Gateway, das sie dir in Rechnung stellen.
Diese lokalen Modelle sind wie Software nach alter Schule. Sie produzieren die Gewichte und geben sie dann den Leuten. Wenn ich mit den Gewichten zufrieden bin, die du mir gegeben hast, und ich dein Compute nicht für die Inferenz nutze und keine Updates von dir will oder brauche, warum solltest du dann weiterhin Geld von mir und meinen Kunden bekommen?
Das ganze „aber wir müssen es für deine Sicherheit aktuell halten“ funktioniert nicht wirklich gut für Software, die darauf ausgelegt ist, vollständig offline zu laufen, wie diese lokalen Modelle.
Ich sage nicht, dass sie nicht bezahlt werden sollten, aber ich empfinde eine persönliche Traurigkeit darüber, dass es weniger offensichtlich ist, wie man einen so aufrichtig nützlichen und vorteilhaften Ansatz für KI-Modelle erfolgreich monetarisieren kann.
- shelled
Ich musste vor kurzem ein paar Wochen lang Diktieren verwenden und war angenehm überrascht, dass viele der Apps (in use/vogue) Modelle auf meinem 2021er 16GB M1 Pro Mac unterstützten (viele davon unterstützten sogar die Verbindung zu einem Remote- oder lokalen Modell-Endpunkt) und gleichzeitig für jede lohnenswerte STT-Verbesserung die Modellgröße höher war, als ich bequem gewollt hätte. Auch wenn ich das Diktieren nicht mehr unbedingt brauche, habe ich vor, ein individuelles, vollständig offline Setup beizubehalten und diese Modelle auszuprobieren (nicht sicher, ob sie Live-/Streaming-STT unterstützen).
Falls jemand von euch interessiert ist, es gibt Apps wie https://github.com/altic-dev/FluidVoice (diese ist eine großartige App) und diese https://sam-pop.github.io/WhisperDictation. Letztere, obwohl sie gerade mal 7 Sterne hat, scheint „intuitiver“ zu sein. Ich hoffe nur, sie bieten eine Möglichkeit, sich mit verfügbaren Modellen auf dem Rechner oder remote zu „verbinden“.
- momojo
> Die Welt liefert mehr als eine Milliarde leistungsfähige Telefone, Tablets und Laptops pro Jahr aus, die meisten mit einem Chip, der genau für diese Arbeit gebaut wurde, bezahlt und den Großteil des Tages ungenutzt. Führe das Modell dort aus und die Ökonomie kippt: keine Kosten pro Aufruf, kein Round-Trip und nichts verlässt das Gerät.
Dies. Ich führe kleine Modelle (>50MB) für Bio-Imaging-/Biotech-Anwendungen aus, es fühlt sich an, als würde jede README implizieren, dass man eine diskrete GPU braucht, um anzufangen. Während einige das tun, viele, besonders die nützlichsten, nicht. Sicher, es spielt eine Rolle, wenn man auch Fine-Tuning machen will, aber ich glaube, der typische Nutzer will einfach nur ein paar Nuklei erkennen und ein paar Zellkörper-Verhältnisse bekommen.
Der Laptop auf deinem Schreibtisch wird nicht Metas SAM ausführen, aber er hat mehr als genug Rechenleistung, um Hunderte deiner H&E-Slides über Nacht zu verarbeiten.
- nater5000
Ich denke definitiv, dass es viel zu tun gibt mit kleinen Modellen, die auf spezifische Aufgaben ausgerichtet sind. Ich habe immer gedacht, der WAHRE Wert liegt darin, dass große Modelle leicht kleine Modelle für benutzerdefinierte Aufgaben bauen können (was, ich weiß, irgendwie schon existiert), aber vielleicht ist es der zugänglichere Ansatz, einfach die kleinen Modelle direkt anzubieten.
> zugänglich über ein SDK für Swift, Kotlin und JavaScript
Lol, lasst mich wissen, wenn es ein Python-SDK gibt, dann probiere ich es aus. Offensichtlich ist das kein Ausschlusskriterium, wenn man einen echten Anwendungsfall hat, aber als jemand, der bereit ist, etwas aufzusetzen und auszuprobieren, wenn es einen schnellen „pip install“-Befehl gibt, wird das erstmal zurück ins Regal gestellt.
- sipjca
Zuerst war ich sehr begeistert von einem neuen schnellen Transkriptionsmodell (voz), aber es stellt sich heraus, dass es nur Parakeet v3 mit etwas neuem Inferenzcode ist, der macOS/iOS-spezifisch ist.