Jev: Warum ein Textklassifikator die Tech-Welt begeistert
Language models for text classification: From bag-of-words to Jev
Sebastian Raschka zeichnet die Entwicklung der Textklassifikation nach – von Bag-of-Words und logistischer Regression über RNNs und ULMFiT bis zu transformerbasierten Modellen. Im Zentrum steht das neue Jev-Modell, das als reiner Klassifikator oft unterschätzt wird, aber schneller und günstiger als große LLMs arbeitet und dennoch allgemeiner ist als spezialisierte Klassifikatoren. Raschka erklärt die Methodik und ordnet den Hype ein.
Jev ist im Wesentlichen ein Textklassifikator, aber Jev ist auch nicht nur ein Textklassifikator.
- jacek-123
Das ist sehr schön, ich erkläre Leuten LLMs immer, indem ich bei den altmodischen Sprachmodellen anfange und dann einfach den Prädiktor von Bag-of-Words auf Transformer usw. umstelle. Ich finde, das ist ein cooles Framing.
- nzoschke
Toller Artikel. Das entspricht meinem Gefühl:
> So wie ChatGPT 2022 spannend war, weil es ein Allzweck-Chatmodell war, das alle möglichen Texte generieren konnte, ist einer der Gründe, warum die Tech-Community von Jev begeistert ist, dass es der ChatGPT-Moment für die Klassifikation ist, wo es alle möglichen Texteingaben kostengünstig klassifizieren kann, ohne für jede Aufgabe einen eigenen Klassifikator feinabstimmen zu müssen.
Wir haben Strategien zur Klassifizierung von E-Mails verglichen, und Jev sieht vielversprechend aus. Ich habe hier einige Strategien verglichen: https://housecat.com/blog/classifying-email
- tomrod
Dr. Raschka ist wunderbar. Toller Artikel.