Ollaya responde preguntas tipadas en 8,9 ms en tu propia GPU
Ollaya – Ollama for open-source, Jev-style decision models
Ollaya es una herramienta de código abierto que ejecuta modelos de decisión locales para responder preguntas tipadas sobre texto o JSON en milisegundos. Compatible con la API de TypeSafe, incluye modelos abiertos como Laya de Convai Innovations y funciona en macOS, Windows, Linux y Docker. En una RTX 4090, una consulta de cinco preguntas se resuelve en 8,9 ms, sin enviar datos a la nube.
Decisiones rápidas en milisegundos. Un modelo de decisión responde en una sola pasada hacia adelante, sin generación token a token.