Google's EmbeddingGemma 2 transkribiert eine Stunde Audio in 13 Sekunden auf einem MacBook Air

An hour of audio transcribed in about 13s on MacBook Air

Ein Team hat EmbeddingGemma 2, ein multimodales Embedding-Modell, in ein Speech-to-Text-Modell umgewandelt. Der Audio-Encoder bleibt unverändert; ein kleiner Reader wird trainiert, um Audio-Slices in den Textraum zu projizieren, wo das nächstgelegene von rund 229.000 englischen Wörtern ausgewählt wird. Auf einem Basis-M3-MacBook Air mit 8 GB läuft eine Stunde Audio in 12,6 Sekunden durch – vollständig auf dem Neural Engine und ohne dass die Audiodaten das Gerät verlassen. Die Wortfehlerrate liegt derzeit bei etwa 5 %.