Laya corre en un Mac M4 con CoreML y sin conexión a 45 decisiones por segundo
Laya (OS Jev) on Mac M4 CoreML Offline (45 decisions per second)
Un gist de fordnox muestra cómo ejecutar Laya, el modelo de lenguaje de OS Jev, de forma totalmente offline en un Mac con chip M4 usando CoreML y la Neural Engine. Con unos pocos comandos de uv y una descarga desde Hugging Face, el modelo multilingüe alcanza 45 decisiones por segundo, sin depender de la nube.
Author testing https://github.com/mizorewww/laya-coreml