OpenAI довёл математиков до слёз: «Они уничтожили мою область исследований»

Я вроде бы могу понять, но чувствую, что оплакиваю нечто иное: утрату желания искать истину в технологиях, математике и т.д.

Ничто больше не проверяется и не тестируется. Всё дело в форме, правдоподобности или даже в том, насколько громко это сказано.

Они выложили 100+ статей, которые никто не читал. Уверен, математики сейчас их читают, но даже этот форум решил, что эти проблемы решены, без чтения или проверки.

Как будто все забыли: «не верь всему, что читаешь в интернете». И это делает обсуждение очень скучным, когда все просто извергают непроверенные утверждения, наслаивая на них сильные убеждения, основанные на столь же непроверенных утверждениях. Это уныло, бессодержательно и просто чистый шум.

> «Google Translate — это потрясающе, но он не научил нас по сути ничему о лингвистике, — сказал Строгац. — Мы не понимаем, почему он работает. Он просто работает. Это Twilight Zone. Это знание без понимания».

Это неправда, и это суть огромного спора, который сейчас идёт во множестве областей.

Классический синтаксис Хомского (который моделирует предложения как деревья разбора) оказался чрезвычайно, поразительно предсказательным в отношении богатой структуры реального человеческого языка. Но мы быстро забываем, что понятия вроде «слов» и «именных групп» мы изобрели специально, чтобы помочь себе анализировать и предсказывать вещи о человеческом языке. Что LLM и современный машинный перевод показывают — окончательно, — так это то, что есть другой, совершенно отдельный способ описывать эти явления, который одновременно гораздо менее описателен и гораздо более предсказателен.

То, что они, по-видимому, находятся в компромиссе, — это прискорбно, но это НЕ означает, что мы «не понимаем, почему это работает». Мы абсолютно понимаем, почему это работает; если бы не понимали, мы не смогли бы улучшать эти системы. Чего у нас нет, так это чистой, описательной теории, которая сводила бы это к чему-то формально специфицируемому и анализируемому. Но это разные вещи, и в этом корень разрыва между многими сообществами, работающими в этих областях и вокруг них (лингвисты против компьютерных лингвистов; математики против вычислительных математиков; люди, занимающиеся механистической интерпретацией, против эмпириков).

Этот текст кружит, не называя его, вокруг концепции «деонтического ведения счёта» (deontic scorekeeping), центральной для работ Роберта Брэндома по семантике. Идея о том, что наша способность создавать и поддерживать концептуальные системы зависит от обмена основаниями в социальной среде. Брэндом в последнее время у меня на уме, потому что элементы его теории одновременно объясняют, почему LLM должны работать в принципе, и где они неизбежно будут радикально неполноценны. LLM кодирует нормативные регулярности наших языковых/концептуальных игр в своих весах, но не может быть настоящим участником наших игр, потому что неспособна брать на себя долговременные обязательства или менять свои диспозиции со временем.

Стоит прочитать: Robert Brandom, «Making It Explicit: Reasoning, Representing, and Discursive Commitment».

Думаю, Томпсон совершенно не понимает такие занятия, как чистая математика или теоретические науки. По словам Эйнштейна: «Я хочу знать, как Бог создал этот мир. Мне не интересен тот или иной феномен, спектр того или иного элемента. Я хочу знать Его мысли; остальное — детали».

Думаю, математики не оплакивают потерянные затраты. Они теперь осознают, что, возможно, больше никогда не испытают радости быть первыми, кто приподнял край брезента невежества и увидел сырую истину под ним _впервые_. Их путешествия открытий, которые придают жизни смысл, возможно, больше никогда не покинут сухой док.

Я всё ещё думаю, что математики будут важны как никогда. LLM находят только то, что технически возможно при нашей текущей широте знаний, после решения задач методом грубой силы. В конце концов, у них закончится то, что они могут делать с помощью своего обучения, и единственным способом заставить их делать больше будет обучение на новых знаниях, найденных человеком.

Найти эти новые знания может быть экспоненциально сложнее, но они будут гораздо ценнее.

Как разработчику ПО мне трудно сочувствовать этим математикам. Разработчиков ПО увольняют из-за достижений ИИ. Математические исследователи работают в университетах, а университеты не увольняют математиков только потому, что OpenAI решил некоторые из их головоломок. Математики всё ещё могут прокормить свои семьи, а разработчики ПО, вытесненные ИИ, — нет. И всё же я вижу гораздо больше таких блогов о бедственном положении математиков, чем о бедственном положении разработчиков ПО.

Знание без понимания — это просто получить «42» и не иметь возможности задать никаких уточняющих вопросов.

Но я не думаю, что мы сейчас в такой точке. Я верю, что результаты, доказательства и статьи можно проверять и понимать, точно так же, как если бы человек-коллега опубликовал ещё один результат.

Я также думаю, что скорость, с которой теперь можно генерировать результаты, не может быть отслежена нашей коллективной скоростью их понимания с помощью привычных нам методов.

По мере того как мы вступаем в следующую фазу, где ИИ публикует, в основном ссылаясь на другие результаты ИИ, это будет накапливаться экспоненциально, пока любому человеку не потребуются десятилетия, чтобы вручную проверить один результат от начала до конца.

Я согласен, что перевод фразы не учит тебя языку, и я также считаю, что переводчики — это важный инструмент, который чрезвычайно полезен при изучении нового языка.

Так что вместо того, чтобы сдаваться, не могли бы мы разработать и адаптировать способы улучшить и помочь нашим процессам понимания и проверки?

Думаю, люди сильно недооценивают способность человека уважать человеческие достижения, несмотря на их неполноценность по сравнению с машинами. Подумайте о шахматистах против Stockfish, марафонцах против автомобиля и т.д.

Думаю, суть гораздо более прозаична, как и сказано в статье.

> Я также не хочу потерять работу из-за клубка GPU.

Если выразиться в стиле GPT, дело не в знаниях или статусе, а скорее в сохранении работы и денег.

И на это можно ответить только политикой и, на мой взгляд, UBI. Так что голосуйте, если можете, люди, а иначе протестуйте, обсуждайте, дискутируйте, лоббируйте вместе с друзьями, семьями, знакомыми.

Думаю, недооценённой частью математики было создание чистой и элегантной работы именно для того, чтобы другие могли использовать её как основу для дальнейшей работы и новых идей. Этот выброс от OpenAI, похоже, противоположен этому. Огромный и беспорядочный, непостижимый и воспринимаемый всерьёз только из-за Lean.

Есть предположение, что ИИ будет способствовать более быстрому прогрессу в математике, но, учитывая свалку доказательств, которые нам приходится принимать на веру как надёжные, я задаюсь вопросом, не верно ли обратное.

Мои сомнения могли бы быть отброшены только в том случае, если бы ИИ оказался способен вносить принципиально новые идеи и ставить новые задачи. Это уводит нас в область, где прогресс ИИ был, мягко говоря, медленным.