Ich war beeindruckt von Jev – bitte erklärt mir, warum ich es nicht sein sollte
I was impressed by Jev, please explain why I shouldn't be
Ich bin kein Informatiker, aber ich habe Jev ausprobiert und fand es beeindruckend. Es ermöglichte mir, nicht-technischen Forschern die Klassifizierung beliebiger Teilnehmereinträge ohne vorheriges Training oder Klassifizierung in nahezu sofortiger Geschwindigkeit und zu vernachlässigbaren Kosten anzubieten. Auf HN sagen jedoch viele viel qualifiziertere Leute, Jev sei ein Betrug, ein Rückschritt oder es sei verrückt, beeindruckt zu sein. Ich möchte von ihnen wissen, welche Software das vor Jev konnte – und zwar mit den gleichen Anforderungen: Tausende Einträge mit beliebigen Themen klassifizieren, auch wenn der Eintrag das Thema nicht direkt erwähnt, in 0–3 Sekunden und zu Kosten unter 0,1 Cent.
Meines Wissens ist die zugrunde liegende Technologie ziemlich alt und etabliert. Wenn man also diese älteren Modelle versteht, ist das nichts Neues. Ein Großteil der Negativität ist im Grunde „Ja, das ist altes Zeug“. Aber was Jev tatsächlich Neues und Interessantes gemacht hat, ist, dass es einem ermöglicht, zur Laufzeit eine neue semantische Entscheidung in natürlicher Sprache zu definieren, ohne ein Modell für diese Aufgabe zu trainieren, und ein schnelles, kostengünstiges, begrenztes, wahrscheinlichkeitsbehaftetes Ergebnis zu erhalten, das direkt von Software konsumiert werden kann. Mit anderen Worten: Man muss kein Modell feinabstimmen. Man sollte es tun, wenn superhohe Qualität wirklich wichtig ist – aber das sollte man auch bei anderen Dingen tun, für die Leute LLMs heranziehen. Aber für den Rest von uns, für die gut genug eben gut genug ist und die kein Interesse daran haben, Modelle zu trainieren oder feinabzustimmen? Jev erschließt eine Menge von der Stange. Man sollte beeindruckt sein. Es macht etwas Neueres, als die Hater behaupten.
Ein Großteil des Hasses ist im gleichen Geist wie der berüchtigte Hacker-News-Kommentar, der Dropbox herabsetzte, weil man einfach einen FTP-Server einrichten könne, um dasselbe zu tun. In diesem Fall sind es Leute, die jahrelang BERT-Klassifikatoren gebaut haben und darauf hinweisen, dass man einfach ein Modell feinabstimmen kann, um zu klassifizieren. Natürlich ist das wahr und hat immer noch Wert, aber es ist nicht gerade schlüsselfertig. Und Jev ist überraschend hochwertig für das, wofür es gebaut wurde.
Ich habe oft festgestellt, dass ich früher gesagt habe: „Dafür zahlen die Leute?! Aber xyz existiert doch schon“, aber mit der Zeit habe ich gelernt, dass (1) Marketing wichtig ist und (2) wenn etwas die Reibung ausreichend verringert, um die Räder für etwas in Bewegung zu setzen, das man erreichen will, es immer jemanden gibt (eigentlich viele Leute), der bereit ist, dafür zu zahlen, selbst wenn es messbar schlechter ist als eine selbstgebaute Lösung oder sogar eine wirklich gute Lösung, die viel Bastelarbeit erfordert, um ins Rollen zu kommen.
Als Programmierer, der Coding-Agenten sehr viel nutzt – und ich meine die ganze Zeit, während ich wach bin –, habe ich den Nutzen von Jev wirklich nicht gesehen. Es kann nicht programmieren, oder ich weiß nicht, wie ich es zum Programmieren bringen soll. Erzählt mir nicht, wie gut es beim Klassifizieren von Dingen ist, die ich nicht mache; ich baue Apps und brauche Coding-Agenten und LLMs dafür, Desktop, Web, Mobile, alle möglichen Apps. Wenn jemand Hinweise hat, wie man Jev dazu bringt, in irgendeiner Sprache zu programmieren, würde ich es gerne wissen.
BeRT, BART und FLAN-T5 für die Textklassifikation. All diese Modelle sind jetzt etwa ein halbes Jahrzehnt alt, basieren auf dem Transformer-Modell und sind klein genug, um lokal zu laufen. Sie sind nicht perfekt SOTA, aber leisten in eingebetteten Anwendungen recht gute Arbeit. Für risikoarme Sachen in Ordnung, denke ich. Bildklassifikatoren sind ein extrem wettbewerbsintensiver Bereich. Man hat BeiT, DeiT, MobileOne, ConvNext, FastViT und mehrere weitere Modelle, die alle Bildklassifikations-Pipelines unterstützen.
Man darf von neuer Technologie begeistert sein.