Стоимость интеллекта упала в 56 раз за полгода: что это меняет

> Чтение всего становится стандартом. За цент за документ модель может прочитать каждую статью

Мне нравится, как в наше время «читать всё» означает «компьютер читает это за меня».

Ожидаю, что скоро компьютер сможет кататься на велосипеде и проводить время с моей женой.

Думаю, скорость на самом деле будет более важным фактором, чем стоимость. Даже проекты, где «деньги не имеют значения», часто упираются в стену из-за времени ответа LLM.

Конечно, можно ускорить работу с помощью параллельных задач в субагентах, но, как и при распараллеливании традиционных вычислительных задач, выгода убывает.

Я постоянно слышу, как люди говорят: просто измените подход к работе, доверьтесь долго работающим агентам и выполняйте несколько задач одновременно, потому что они слишком медленны для интерактивной работы во многих случаях. Думаю, это болезненно в мире, где мы ожидаем, что люди по-прежнему будут активно направлять агентов и взаимодействовать с ними в своей повседневной работе.

Думаю, одна из больших областей — робототехника. Робот сегодня может сложить ваше бельё. На это уходит ~10 минут на предмет. Серьёзно. Требуется много времени, чтобы обработать изображение, найти угол, подвести манипулятор к углу рубашки и попытаться выровнять её перед складыванием.

Роботы сейчас в целом двигаются с ледниковой скоростью. Возможно, вы видели, как роботы делают сальто в полуконтролируемых средах, но посмотрите, как медленно они открывают двери и т.п. Время обработки — главное узкое место.

Мне очень нравятся маленькие модели. Модели gemma4 26/31b оказались впечатляюще хороши в задачах анализа странной прозы, над которыми я работаю. Nova-micro — действительно глупая, но чрезвычайно быстрая, когда она достаточно умна, чтобы что-то сделать. Я стараюсь быть дисциплинированным в оценке качества против стоимости везде для реальных систем, построенных на этом. Вероятно, мне стоит отказаться от Bedrock, потому что там не хватает множества других маленьких моделей, которые могли бы быть хорошими конкурентами.

Лично я по-прежнему вижу LLM как очень продвинутые поисковые системы, которым не хватает интеллекта. Мне кажется, что LLM снижают стоимость получения данных, а не стоимость интеллекта. Я имею в виду: мы говорим модели, чего хотим достичь, и модель отвечает правильными данными в виде кода за секунды.

Вот почему «программистам со Stack Overflow» будет трудно конкурировать с LLM, но инженеры по-прежнему нужны за их интеллект.

Ну, это просто моё мнение.

100x кажется заниженной оценкой. Даже без улучшений моделей мы должны увидеть такое снижение. Судя по марже TSMC, марже Nvidia и (предполагаемой) марже OAI/Anth на инференсе, есть место для снижения в 100 раз.

Сейчас все три находятся на аномально высоком уровне. Конкуренция придёт ко всем трём.

Думаю, многие упускают в парадоксе Джевонса эластичность спроса на базовый ресурс.

В текстильной промышленности был парадокс Джевонса, и было занято больше текстильщиков, даже когда создавались ткацкие машины, пока мы не насытили мировой спрос на дешёвую одежду, и тогда текстильщики стали не нужны (то же самое с фермерством и лошадьми).

Программное обеспечение сейчас переживает парадокс Джевонса, но очень неизвестно, насколько высок потолок спроса на ПО. Веб-разработка может быть обречена, но программное обеспечение в целом, думаю, вероятно, безгранично.

Интеллект также, вероятно, безграничен (сейчас ПО и интеллект очень тесно связаны). Вполне возможно, что расходы на токены будут расти по кривой вечно.