Ollaya запускает модели принятия решений локально: ответ за 9 мс на RTX 4090
Ollaya – Ollama for open-source, Jev-style decision models
Ollaya — открытый инструмент для локального запуска моделей принятия решений в стиле Jev. Он отвечает на типизированные вопросы о тексте или JSON за один прямой проход, без генерации токенов. На RTX 4090 запрос из пяти вопросов занимает около 10 мс через HTTP API. Ollaya совместим с API TypeSafe, поддерживает открытые веса Laya и работает на macOS, Windows, Linux и в Docker.
Быстрые решения за миллисекунды. Модель принятия решений отвечает за один прямой проход, без генерации токенов по одному.