LLM-Klassifikation: Halluzinieren statt kategorisieren
Don't classify, hallucinate!
Die direkte Klassifikation von Produkten oder Suchanfragen mit LLMs ist langweilig und teuer, besonders wenn die Ausgabe auf eine große Liste erlaubter Kategorien beschränkt werden muss. Ein einfacherer Ansatz: Man lässt ein billiges LLM plausible, aber erfundene Klassifikationen halluzinieren und gleicht diese dann per Embedding-Suche mit der echten Taxonomie ab. So spart man sich das Übertragen des gesamten Schemas und kann auch kleine Modelle effizient nutzen.
Es ist sehr billig, einen In-Memory-Satz von Embeddings der echten Klassifikationen zu erstellen.