Kleine Modelle sind da: Wie günstige KI die Kosten für Verbraucher-Apps senkt

> Eine Sache, die ein paar Investoren, mit denen ich gesprochen habe, erwähnt haben: "Es ist seltsam, dass wir nicht mehr Consumer-KI-Unternehmen sehen. Warum ist das so?"

Was wäre überhaupt ein Consumer-KI-Unternehmen? Die Grenzlabore haben erklärt, dass sie alles fressen werden, und sie haben einen Vorsprung.

Die beste Wette wäre, konträr zu sein und Produkte und Dienstleistungen zu bauen, die die Leute tatsächlich wollen oder brauchen. Es ist in Ordnung, KI-gestützt oder -erweitert zu sein, aber Consumer-Unternehmen übernehmen den harten Teil, nämlich die spezifischen Bedürfnisse und Wünsche der Verbraucher zu verstehen und danach zu streben.

Kleine Modelle, die lokal laufen, übertreffen Cloud-Latenz bei fokussierten Aufgaben jedes Mal – günstiger, deterministisch und kinderleicht zu deployen.

> In seinen verschiedenen Startups hat Peter zwei Arten von Arbeit gesehen:

> 1. die "IQ-180"-Arbeit. Irgendein verrückter Wissenschaftler-Genie-Typ kommt mit einer verrückten Lösung, auf die du nie gekommen wärst.

> 2. die "Token-Speier"-Arbeit. Äußerst reaktionsschnell sein, den Ball auf Dutzenden verschiedenen Fronten vorantreiben.

Interessanter Vergleich zu Pgs Maker's Schedule, Manager's Schedule https://www.paulgraham.com/makersschedule.html

Ich bin neugierig, nicht nur, welche dieser Rollen Modelle ausfüllen werden, sondern auch, wie sie uns befähigen werden, in dem Modus zu sein, den wir bevorzugen.

Es ist sinnvoll, dass wir "Platz am Boden"-Strategien sehen werden. Derzeit scheinen große Parameterzahlen ein Sammelsurium aus Weltwissen, Sprachfähigkeiten (weil die Nuancen der Sprache und ihr offener Wortschatz sie hochdimensional machen) und Denk-Primitiven zu sein, wobei die allgemeine Annahme ist, dass letztere am wenigsten Platz im Modell einnehmen.

Es gibt viele Anwendungen, bei denen Weltwissen unnötig oder sogar negativ ist, und bei denen nur ein geringes Maß an Sprachfähigkeit nötig ist, und dort können wir erwarten, dass kleine Modelle, die intelligenter eingesetzt werden, große Modelle schlagen, die naiv verwendet werden.

Ich finde es ziemlich lustig, all diese Leute, die süchtig danach sind, den Grenzmodellen hinterherzujagen, die jetzt erst bemerken, dass kleine Modelle "gut genug" für die meisten Aufgaben geworden sind. Diejenigen von uns ohne märchenhafte Spesenkonten haben das schon vor einer Weile bemerkt.

Wir testen und entwickeln ein paar Anwendungen auf OpenAI-Basis. Relativ einfaches Zeug. Ich habe mein API-Guthaben vor ein paar Monaten um 10 $ aufgeladen. Ich habe gerade nachgesehen, wir haben in diesem Zeitraum etwa 61 Cent verbraucht. Ungefähr 126 Anfragen im letzten Monat. Das ist nur unser Testen, aber es zeigt mir, dass dieses Zeug relativ billig ist. Der Grund, warum wir nicht viele Anfragen haben, ist, dass das meiste davon ziemlich gut beim ersten Versuch funktioniert. Das ist nicht schwer zu bauen.

Ich denke, KI ist eine untergenutzte Fähigkeit in Anwendungen. Die Leute kommen mit all diesen großen Plänen, Agenten zu bauen. Aber selbst ein einfacher Button, um "eine Farbpalette zu berechnen, die diese symbolischen Namen berücksichtigt, die der Benutzer eingegeben hat", ist ein einfacher Prompt, der schnell zurückkommt und nicht viel Denken erfordert. Wir verwenden das mit Luna und geben ihm etwas mehr Kontext.

Bildbasiertes Zeug ist teurer, aber immer noch ziemlich vernünftig. Wir machen einige Dinge mit Sol, die mit Bildern arbeiten. Es ist nicht schnell, aber das Ergebnis ist es wert, darauf zu warten. Das sind Funktionen, die dem Benutzer Zeit sparen und sich ein wenig magisch anfühlen. Sie klicken einfach auf einen Button, warten 20-30 Sekunden und dann passiert Magie. Das schlägt, eine halbe Stunde herumzuklicken.

Lokales Modell-Hosting würde mich zu höheren Kosten und mehr Overhead für weniger Intelligenz zwingen. Das ist nur ein guter Kompromiss, wenn man wirklich viele Tokens nutzen will oder es andere Gründe gibt (z.B. Datensicherheit). Aber sonst zahlt man am Ende nur für ungenutzte GPU-Kapazität.

Ein Freund von mir hat mir heute erzählt, dass sie bei der Arbeit (einem Coding-Shop) eine Diskussion darüber hatten, aus Kostengründen auf Luna von Sol "herunterzustufen", und dass viele ziemlich unglücklich darüber waren, weil sie keine minderwertige Technologie aufgezwungen bekommen wollten. Haben sie recht? Ist Sol die zusätzlichen Kosten wirklich wert? Besonders wenn man den Aufwand hochschraubt?

Ich bin irgendwie vorsichtig aufgeregt für die nächsten fünf bis zehn Jahre: Mit diesen KI-Chips, die unglaublich schnell werden, und RAM-Kapazitäten, die hochskaliert werden, ist es durchaus möglich, dass wir Chips wie die heutigen ATMEL-Mikroprozessoren haben, die auf einen Einplatinencomputer passen und kleine Modelle lokal ausführen können. Dann können alle unsere Geräte lokale KI haben und ich kann ein wirklich intelligentes Zuhause haben. Natürlich wird es einen großen Druck geben, alles in die Cloud zu verlagern, aber vielleicht haben wir eine Chance, diese Technologie für immer nach Hause zu holen, da es schwer vorstellbar ist, dass die Leute sich dieser Überwachung unterwerfen, die für KI-gesteuerte Hausautomation rund um die Uhr erforderlich ist (andererseits könnte ich falsch liegen). Aufregende Zeiten.

Ein Traum von mir ist es, ein LLM-betriebenes Videospiel zu hosten, das ich auf einem Heimserver mit einer anständigen Mittelklasse-GPU wie der RTX 5060 betreiben kann, und das LLM ist schnell und intelligent genug, um für ein paar Dutzend gleichzeitige Spieler ein unterhaltsames Spielerlebnis zu bieten. Die Leute können Funktionen anfragen, und sie werden einfach im Handumdrehen erstellt und zum Spiel hinzugefügt, damit die Lobby sie genießen kann. Die Hosting-Kosten wären überschaubar genug, dass ich für das Spiel nichts verlangen müsste.

Ich denke, mit noch etwa einem Jahr Fortschritt bei kleinen Modellen könnte das vielleicht möglich sein.