Маленькие модели уже здесь: как дешевизна ИИ меняет потребительские приложения

> Одна вещь, которую упомянули несколько инвесторов, с которыми я общался: «Странно, что мы не видим больше потребительских AI-компаний. Почему так?»

Что вообще такое потребительская AI-компания? Фронтирные лаборатории заявили, что они съедят всё, и у них есть преимущество.

Лучший вариант — быть контрарианцем и создавать продукты и услуги, которые люди действительно хотят или нуждаются. Нормально, если они работают на AI или с его поддержкой, но потребительские компании делают сложную часть работы — понимание конкретных потребностей и желаний потребителей и следование им.

Малые модели, работающие локально, всегда превосходят облачные по задержке для узких задач — дешевле, детерминированно и просто развертываются.

> В своих различных стартапах Питер видел два вида работы:

> 1. работа «IQ 180». Какой-то гениальный безумец придумывает сумасшедшее решение, которое вам никогда не приходило в голову.

> 2. работа «выплевывателя токенов». Быть сверхотзывчивым, продвигать дело сразу на десятках фронтов.

Интересное сравнение с расписанием Мейкера и Менеджера Пола Грэма https://www.paulgraham.com/makersschedule.html

Мне любопытно не только то, какую из этих ролей будут выполнять модели, но и как они позволят нам быть в том режиме, который мы предпочитаем.

Логично, что мы увидим стратегии «места внизу». Сейчас кажется, что большое количество параметров — это своего рода резервный фонд мировых знаний, языковых навыков (потому что нюансы языка и открытый словарный запас делают его многомерным) и примитивов рассуждения, причем общее мнение таково, что последнее занимает меньше всего места в модели.

Есть много приложений, где мировые знания не нужны или даже вредны, и где нужно лишь небольшое количество языковых навыков, и там можно ожидать, что малые модели, используемые более умно, побьют большие, используемые наивно.

Мне забавно видеть всех этих людей, подсевших на погоню за фронтирными моделями, которые только сейчас замечают, что малые модели стали «достаточно хорошими» для большинства задач. Те из нас, у кого нет расходов размером с басню, заметили это уже довольно давно.

Мы тестировали и разрабатывали несколько приложений на основе openai. Относительно простые вещи. Я пополнил свой API-кредит на 10 долларов несколько месяцев назад. Я только что проверил: мы потратили около 61 цента за этот период. Примерно 126 запросов за последний месяц. Это просто наше тестирование, но это показывает мне, что эта штука относительно дешевая. Причина, по которой у нас не так много запросов, в том, что большинство этих вещей работает почти с первого раза. Это несложно построить.

Я думаю, что AI — это недоиспользуемая возможность в приложениях. Люди придумывают большие планы по созданию агентов. Но даже простая кнопка «рассчитать цветовую палитру, учитывая эти символические имена, которые ввел пользователь» — это простой промпт, который быстро возвращается и не требует много рассуждений. Мы используем это с Luna и даем ей больше контекста.

Вещи, связанные с изображениями, дороже, но все равно вполне разумны. Мы делаем некоторые вещи с Sol, которые работают с изображениями. Это не быстро, но результат стоит ожидания. Это функции, которые экономят время пользователя и ощущаются немного волшебными. Они просто нажимают кнопку, ждут 20-30 секунд, и происходит магия. Это лучше, чем полчаса кликать.

Локальный хостинг моделей вынудил бы меня к более высоким затратам и накладным расходам за меньший интеллект. Это хороший компромисс только если вы действительно собираетесь использовать много токенов или вам это нужно по другим причинам (например, безопасность данных). В противном случае вы просто платите за недоиспользуемую мощность GPU.

Мой друг рассказал мне сегодня, что у них на работе (в кодинговой конторе) была дискуссия о «понижении» с sol до luna из-за затрат, и многие были очень недовольны этим, потому что не хотели, чтобы им навязывали худшую технологию. Они правы? Действительно ли sol стоит дополнительных затрат? Особенно если повысить уровень усилий?

Я вроде как осторожно взволнован следующими пятью-десятью годами: с этими AI-чипами, становящимися невероятно быстрыми, и ростом объемов RAM, вполне возможно, что у нас будут чипы, подобные сегодняшним микропроцессорам ATMEL, которые помещаются на одноплатном компьютере и могут запускать малые модели локально, и тогда все наши гаджеты смогут иметь локальный AI, и у меня будет по-настоящему умный дом. Конечно, будет огромное давление, чтобы перенести все это в облако, но, возможно, у нас есть шанс забрать эту технологию домой навсегда, так как трудно представить, что люди подчинятся такой слежке, которая требуется для AI-автоматизации дома 24/7 (хотя, возможно, я ошибаюсь). Захватывающее время.

Моя мечта — иметь возможность разместить видеоигру на основе LLM, которую я могу хостить на домашнем сервере с приличной среднеуровневой видеокартой, например RTX 5060, и чтобы LLM был достаточно быстрым и умным для увлекательного игрового опыта для нескольких десятков одновременных игроков. Люди могут просить функции, и они просто создаются и добавляются в игру на лету для удовольствия лобби. Затраты на хостинг были бы достаточно управляемыми, чтобы мне не пришлось брать плату за игру.

Я думаю, что еще через год или около того прогресса в малых моделях это, возможно, станет возможным.