Как превратить языковую модель в систему с одним проходом
Build your own decision model
Автор показывает, как ограничить вывод LLM набором допустимых ответов, чтобы получить предсказание за один проход, как в моделях System one. На примере Qwen3-1.7B он демонстрирует метод, достигает точности 59% на CommonsenseQA, а после файнтюнинга — 62%. Однако модель оказывается сильно переуверенной: в бине 0.9–1.0 точность всего 70%. Температурное масштабирование с T=3.8 улучшает калибровку.
Модель склонна быть чрезмерно самоуверенной в диапазоне 0.9–1.0, но права только в 70% случаев.
- sachaa
Это отличный способ начать, но производительность таких LLM-моделей, как Qwen, не идеальна для локального запуска. Я адаптировал Laya (чисто decision-модель) для работы в браузере, и мне удаётся получать ответы менее чем за 200 мс. Попробуйте: https://wexare-ai.github.io/browser-laya/
- sn0n
Я увидел Jev и, не поняв его, сказал себе: «Я могу такое построить!» И набросал идеи для странного генератора Jeopardy в стиле Алекса Требека, который назвал trebek — приложение на bun, запускающее TypeScript, куда подаёшь входные данные, оно решает, категория это, вопрос или ответ, а затем генерирует то, чего не хватает. Несколько дней обучал базу SQLite-vec на английском языке с помощью небольшой embedding-модели qwen, чтобы добавить векторные эмбеддинги в базу, а потом выдернул провод из эмбеддингов, прежде чем начал скармливать своей LLM нужные спецификации для Jev, и теперь у меня есть классный генератор Jeopardy, который заодно работает как классификатор-клон Jev с кастомным v1-эндпоинтом для system 0 или как там это называется. Уровень понимания здесь, но эксперимент был весёлым ^>^ и выдаёт полезные результаты
- nico
Это очень круто. Если ищете что-то похожее, но более лёгкое, что можно запускать (и обучать) на CPU, попробуйте Jeffy: https://jeffyclassify.com/
На GitHub: https://github.com/nicobrenner/jeffy
- fuddle
Жду с нетерпением книгу «Build a Decision Model (From Scratch)».
- ford
Это мило — и источник множества клонов Jev, которые мы видели. Думаю, их недавний раунд финансирования отчасти из-за их алгоритмов/данных. Ещё предстоит увидеть, достаточно ли это большое преимущество, чтобы стоить больше 1 миллиарда долларов.