Google veröffentlicht EmbeddingGemma 2: Ein multimodales Embedding-Modell für das Gerät
Google hat EmbeddingGemma 2 vorgestellt, ein offenes multimodales Embedding-Modell mit 740 Millionen Parametern, das Text, Bilder, Audio und Video in einem einheitlichen Embedding-Raum vereint. Es übertrifft viele größere Modelle bei Code-, Vision- und Audio-Aufgaben und ist für die On-Device-Nutzung optimiert. Mit modularer Architektur, Matryoshka-Repräsentation und einem 8K-Token-Kontextfenster ermöglicht es lokale RAG-Pipelines, semantische Suche und datenschutzfreundliche Anwendungen direkt auf Endgeräten.
Mit mehr als 20 Millionen Downloads haben Entwickler es genutzt, um intelligentere On-Device-Suchtools und datenschutzfreundliche Retrieval-Augmented-Generation-Pipelines (RAG) anzutreiben.
- simonw
Ich schätze es sehr, dass EmbeddingGemma 2 unter der Apache-2.0-Lizenz steht.
Gerade bei Embedding-Modellen halte ich es nicht für sinnvoll, ein geschlossenes, proprietäres, nur gehostetes Modell zu verwenden.
Die meisten Anwendungen von Embedding-Modellen beinhalten die Berechnung von Tausenden oder sogar Millionen von Embedding-Vektoren und deren Speicherung für spätere Vergleiche.
Wenn dein Modell proprietär ist, wird der Anbieter wahrscheinlich irgendwann beschließen, dieses Modell nicht mehr anzubieten. Sie werden ein besseres Modell als Ersatz haben, aber du musst trotzdem dafür bezahlen, diese Millionen gespeicherter bestehender Vektoren neu zu berechnen.
(Im April 2024 bot OpenAI an, "die finanziellen Kosten für Nutzer zu übernehmen, die Inhalte mit diesen neuen Modellen neu einbetten" - https://openai.com/index/gpt-4-api-general-availability/ - aber ich glaube nicht, dass wir uns bei jedem Anbieter darauf verlassen können.)
Bemerkenswert ist, dass ich das Modell nicht selbst hosten möchte. Ich würde viel lieber einen Anbieter für ein gehostetes Modell bezahlen, wohl wissend, dass ich, falls er das Hosting einstellt, die offene Gewichtsversion selbst ausführen kann - oder einen anderen Anbieter finde, der das für mich tun kann.
- Nautman
Es ist auch sehr praktisch, dass dies für "Jev"-ähnliche Aufgaben mit Text und Bild verwendet werden kann.
https://developers.google.com/edge/mediapipe/solutions/decis...
- aabhay
Beachte, dass dies im Gegensatz zu früheren On-Device-Embedding-Modellen mit MRL trainiert zu sein scheint, nicht mit MatFormers, was bedeutet, dass man die Modellgewichte leider nicht zusammen mit den niedrigdimensionaleren Embeddings verkleinern kann. Wahrscheinlich gibt es noch keine gute Forschung dazu, wie man MatFormers für multimodale Anwendungen umsetzt?