Pete Warden: локальные модели уже почти не уступают облачным, но маркетинг их прячет
Why AI Wants to Be Local – With Pete Warden (Creator of Moonshine Voice)

Создатель Moonshine Voice и ветеран глубокого обучения Пит Уорден объясняет, почему ИИ всё чаще стремится на устройство, а не в облако. По его словам, открытые модели отстают от Anthropic и OpenAI всего на несколько месяцев, а квантование позволяет запускать 9-миллиардную модель на 4 ГБ видеопамяти. Главный барьер — не качество, а удобство и отсутствие рекламы: зарабатывать на локальных моделях трудно, поэтому крупные компании продвигают подписки.
Я думаю, что вы можете прийти к этому прямо сейчас, и я знаю, что это довольно смелое заявление.