Математический обвал уже случился — теперь он надвигается на разработку AI

Я работаю инженером-исследователем в компании Alphabet и в отрасли уже почти 15 лет. Я нахожусь в том же положении, что и Дваркеш. За последние два месяца я увидел вещи, которые меня абсолютно шокировали. Команда агентов переписывает модель с нуля, на которую были потрачены годы исследований и разработок, и превосходит оригинал всего за несколько дней. Агент, которому любой в компании может просто написать id эксперимента и сказать «улучши это», а через несколько часов вернётся с примерно 20 проблемами, изучив веса чекпоинтов и шаги градиента.

Эти агенты знают каждую статью, каждый трюк, у них потрясающая интуиция, и они могут написать 20 абляций и запустить их, пока вы добираетесь до работы. Я обнаруживаю, что направлять их становится всё менее и менее полезно. Я никогда не чувствовал, что моя устарелость так стремительно приближается ко мне, как сейчас.

Я думаю, следующий шаг для разработчиков — объединять существующие технологии. Например, в области медицинской визуализации есть тысячи опубликованных алгоритмов, которые были реализованы один раз (исследователем, опубликовавшим статью), но никогда не использовались. Теперь ИИ может прочитать статью и с одного раза реализовать алгоритм. Мне интересно, возможны ли прорывы благодаря комбинированию таких алгоритмов.

Если ИИ — это верифицируемая область, как заставить ИИ создавать бенчмарки, которые они смогут применять к самим себе?

Похоже, что единственные бенчмарки, которые можно автоматически построить, — это те, для задач, которые сами по себе верифицируемы (доказательство теорем, программирование и т.д.).

Неверифицируемые задачи требуют, чтобы люди определяли, что именно считается хорошей работой.

Гипотеза RSI зависит от предположения, что прогресс в верифицируемых задачах обобщается на неверифицируемые.

Что мне кажется увлекательным в прогнозах об ИИ, так это человеческая природа, которая за ними стоит. Похоже, есть два лагеря: первый включает автора этого эссе, людей, которые начинают верить, что неизвестные способности, которых пока нет, скоро станут возможными, и их невозможно предсказать. Этот лагерь, похоже, привлекает всё больше людей, потому что предыдущие неизвестные решались очень быстро. Поэтому вера в этой группе растёт, что AGI и другие большие вопросы ИИ, такие как массовая потеря рабочих мест людьми, не за горами.

На другом конце спектра мы видим людей, которые всё ещё хотят доказательств и отодвигают свои прогнозы об ИИ в более далёкое будущее, указывая на текущие ограничения. Эта группа, похоже, передвигает ворота по мере необходимости, чтобы поддержать свой аргумент с каждым новым достижением. Как отметил автор статьи, он перешёл из этого лагеря в первый. Я тоже перешёл в первый.

Я пришёл к выводу, что единственное, для чего хороши LLM, — это написание кода, и ЕДИНСТВЕННОЕ, в чём они будут преуспевать, — это вещи, которые можно решить написанием кода.

Вся эта шумиха вокруг решённых математических задач была просто написанием LLM кода на Lean. И кроме этого, агенты ничем не близки к человеку по поведению и ответственности. Они как глупые малыши с кучей знаний.

Я думаю, ИИ не идёт за всеми офисными работами, он идёт только за работами, которые можно решить с помощью кода.

Можно возразить, что они смогут делать операции на мозге, написав код, который выполняет инструкции в роботизированной руке со скальпелем. Только время покажет.

Извините за сумбур, просто вываливаю свои мысли.

Что сделал этот автор, что указывало бы на то, что нам стоит слушать его мнение?

Дело не только в верифицируемости или нет. Дело ещё и в том, насколько высоко висит плод по сравнению с тем, насколько хороша ваша лестница (эвристика поиска). NP-задачи, например, легко верифицируемы.

Вполне правдоподобно, что эта математическая лавина была глубиной 1 см, а более сложные задачи нерешаемы без новых математических теорий, которые нужно построить с большим пониманием и вкусом (человеческой эвристикой).