Jevstiller - Локальная модель с гарантией согласия с Jev
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
Jevstiller — это локальная модель, которая отвечает так же, как Jev, в 98% случаев, с доказуемой гарантией. Она решает проблему задержки в 300 мс при каждом вызове Jev, обучаясь на его ответах и принимая решения за 15 мс на CPU. Система использует строгие статистические методы, чтобы гарантировать, что доля расхождений с Jev не превысит заданный бюджет. Поддерживается непрерывное обучение, аудит и обнаружение дрейфа. Установка: git clone https://github.com/tomerglick57/Jevstiller && cd Jevstiller && pip install jevstiller. Идеально для агентных циклов, игровых тиков и любых задач, где важна скорость и надёжность.
Самое интересное — не маленькая модель, а контракт: задайте одно число, скажем 98%, и Jevstiller вернёт метку, которую вернул бы Jev, как минимум в этой доле запросов.
- gingersnap
Локальная модель похожа на model2vec?
- tgluck
Автор здесь. Это ставит прокси перед повторяющимися вызовами классификации Jev. Сначала всё идёт к Jev; на основе его ответов обучается небольшая голова на замороженных sentence embeddings, выбирается порог уверенности с точной конечновыборочной границей так, чтобы не более 2% всех запросов получали ответ, который Jev не дал бы, а затем уверенная доля обрабатывается локально за ~15 мс на CPU. Постоянный аудит 2% продолжает проверять; если согласие нарушается, всё возвращается к Jev и модель переобучается.
Известные ограничения: согласие — это не точность (если Jev ошибается, ошибается и локальная модель); покрытие отражает, насколько последователен сам Jev (22% на шумных задачах с твитами, 80% на новостях); он говорит только на API Jev, совместимый с OpenAI фронтенд в планах. Начиная с 0.4.0 гарантия может также покрывать «был бы Jev неуверен», что важно, если ваш код отправляет ответы с низкой уверенностью на проверку. Apache 2.0.