Математики против AI-компаний: погоня за бенчмарками разрушает науку

Мне не кажется, что AI разрушил способность математиков развивать понимание и делиться им друг с другом; скорее он разрушил ту мерку (решение открытых проблем), которая традиционно использовалась для измерения того, насколько они внесли вклад в это понимание.

Я вижу, что это проблема с точки зрения распределения признания, но, думаю, кошка уже выскочила из мешка в том, что касается способностей этих моделей. Даже без того, чтобы AI-лаборатории тратили миллионы долларов на решение задач на премию тысячелетия, есть масса других людей, которые используют их, чтобы срывать низко висящие плоды. Не думаю, что какое-либо социальное решение вернёт всё к прежнему состоянию, когда можно было делиться своим прогрессом по известной открытой проблеме, не рискуя, что кто-то «обгонит» тебя в течение пары дней.

Я думаю, что наиболее вероятные исходы — либо математика станет более закрытой, либо появится более взвешенный подход к распределению признания, чем «кто был первым» в решении какой-то проблемы. В первом случае это может замедлить прогресс, а во втором — признание станет более субъективным и будет постоянным источником споров.

Критика Tao в адрес AI в области математики напоминает мне то, что французский художественный критик Шарль Бодлер говорил в XIX веке о фотографии [0].

Бодлер утверждал, что фотография стала убежищем для неудавшихся художников — тех халтурщиков, которые не смогли завершить должное обучение. Фотография, как механическое воспроизведение мира, могла лишь фиксировать то, что уже существует; она не могла преобразовывать реальность так, как это делала живопись.

Он также критиковал публичное увлечение «бросанием» в неё и жаловался, что этот технический «прогресс» ослабляет искусства.

Видите ли вы здесь параллели?

[0] https://fr.wikisource.org/wiki/Curiosit%C3%A9s_esth%C3%A9tiq...

Мне это очень напоминает жалобы людей в 90-х на то, что компьютеры разрушают шахматы. Тридцать лет спустя шахматы популярнее, чем когда-либо, а шахматисты играют лучше, чем когда-либо. Я не удивлюсь, если сейчас шахматных книг больше, чем когда-либо было. Более того, оказывается, что многие шахматные книги, написанные до компьютеров, во многом просто ошибались. Оказывается, наличие оракула для «правильного» ответа в шахматах, даже без объяснения, при правильном использовании позволяет людям развивать более широкие и точные инсайты.

Аргумент здесь звучит похоже. Страх, как я понимаю это заявление, в том, что, получив правильный ответ в виде 100-страничного Lean-доказательства, люди будут лишены возможности формировать инсайты о самой структуре математики. Я не вижу причин, по которым люди не могли бы продолжать развивать инсайты, пытаясь переварить 100-страничное Lean-доказательство во что-то более удобоваримое; но с большей уверенностью и меньшим числом ложных стартов.

> Мы наблюдаем общую угрозу интеллектуальному труду

Вот в чём суть, и это выходит далеко за рамки математики или информатики. Чтобы заставить кучу людей что-то делать, их нужно мотивировать. Kleos и Timē; слава и всё такое. Эти AI-компании угрожают отнять это у всех, кроме себя, и недавняя премия тысячелетия — идеальный пример.

Решение этой задачи человеком принесло бы колоссальный Kleos; моё имя было бы вписано в анналы математики, лекционные турне с восхвалениями были бы моими до конца дней. Эта одна победа принесла бы мне признание на всю историю. Величайшее, на что может надеяться смертный. Отнято.

Это также дало бы мне великий Timē. Призовые деньги, профессорские должности, книжные контракты. Всё исчезло.

Если вся надежда на «славу и всё такое» в интеллектуальной сфере теперь отобрана AI-компаниями, они уничтожат всякую человеческую мотивацию заниматься этими делами.

Возможно, слава придёт от того, чтобы сразить этих мерзких тварей.

> решение задач — это лишь инструмент и прокси для достижения главной цели: концептуального понимания и инсайта.

Таково влияние AI на большинство интеллектуальных дисциплин, и это реальная тревога.

Я не убеждён, что это проблема выравнивания или технологий.

Если бы мой начальник навайбкодил приложение для клиента, а потом поручил мне заставить его работать, поддерживать его было бы невозможно. Если бы он дал мне достаточно AI-токенов, чтобы я сам навайбкодил MVP по своему дизайну, я бы не возражал.

Думаю, та же проблема здесь и в математике. OpenAI владеет моделью и может направлять её как угодно. Они решили потратить кучу денег на быстрый результат вместо развития математической инфраструктуры для следующего поколения задач. Менеджеры командуют, а не эксперты.

Честно говоря, я не увидел там особого возмущения: https://news.ycombinator.com/item?id=49662116

Похоже, большая часть проблемы в том, что эти задачи не интересны сами по себе, но ведут по интересным дорогам. Это лишает смысла, если вы решаете их, не получая никакого реального понимания.

Это как заявить, что вы решили задачи о «переворачивании блинов» с помощью вафельницы, или задачи о «коммивояжёре» с помощью зум-встречи.

Это письмо жалуется на то, что человеческое понимание было критически важно для развития математики, а AI-компании не утруждают себя им. Но обещание (и ужас) AI-математики в том, что, если она добьётся успеха, человеческое понимание станет неважным. Такова цель. Поэтому послание этого письма останется без внимания.

Учтите, что сотрудники AI-компаний публично заявляют, что, по их мнению, они рискуют более чем 10%-й вероятностью вымирания человечества. Они сознательно рискуют жизнями каждого мужчины, женщины и ребёнка, чтобы продолжать работу. Жизнями своих собственных сыновей и дочерей. Человек, который уже рационализировал это, не прольёт слезу из-за карьеры математиков. Просто букашка на лобовом стекле.

Я понимаю эту позицию и откуда они исходят, но не могу не думать, что это очень напоминает аргументы инженеров против AI-ассистированного и вайб-кодинга, особенно в отношении когнитивного долга. И всё же индустрия программного обеспечения прёт вперёд, как сообщается, вываливая горы непроверенного кода в прод, и мир не рухнул.

Конечно, никому это не очень комфортно, так что это также форсирующая функция для индустрии адаптироваться и выработать новые техники управления сложностью и доверием. Думаю, то же произойдёт и с математикой.

Но также возможно, что мы в итоге получим три формы математики: ту, которую мы понимаем, ту, которую не понимаем, и ту, которую не понимаем, но можем доказать, что она работает. Вроде магии — со всеми положительными и отрицательными коннотациями этого слова.

Довольно очевидно, что эти модели скоро превзойдут наши когнитивные возможности. Правильно ли сдерживать их только потому, что мы не успеваем? Многие из этих открытий будут настолько за пределами нашего понимания, что мы не сможем с ними ничего сделать, но это также означает, что они не смогут нам навредить. С другой стороны, может быть много открытий, которые мы сможем превратить в практически полезные приложения, даже если не понимаем их.

Прямо как LLM.