Математики требуют от AI-лабораторий прекратить тестировать сложные задачи на закрытых моделях
Responsible Release of AI-Generated Mathematics
Математическое сообщество, собрав более 600 отзывов, выпустило рекомендации для AI-лабораторий по ответственному опубликованию математических результатов. Если результат не понят человеком, лаборатория обязана провести поиск по литературе, оформить доказательство по академическим стандартам, указать модель, промпты и стоимость вычислений, а также финансировать усилия сообщества по осмыслению этих результатов. Отдельно подчёркивается недопустимость использования математики как маркетингового инструмента и необходимость широкого доступа к моделям.
Мы хотим ясно заявить с самого начала: мы не одобряем эту практику и просим их прекратить тестировать сложные математические задачи на проприетарных моделях.
- kingstnap
В основном всё довольно прямолинейно. Идея о том, что доказательства нужно «причесывать», должным образом атрибутировать существующую литературу и публиковать где-то оперативно, где их можно комментировать, с артефактами для верификации, — всё это совершенно бесспорные вещи.
Я думаю, что острая тема — это определённо позиция о том, что давние математические проблемы не должны использоваться как бенчмарки для (конкретно проприетарных) моделей. Заявлено прямо в самом начале.
Обоснование довольно ясное.
> Использование проприетарных внутренних моделей AI-лабораториями для математических исследований рискует создать двухуровневую систему, где лаборатории обгоняют остальную область, фактически отчуждая математическое сообщество от его собственной дисциплины.
Это всё весело и забавно (для нематематиков), когда математики не могут конкурировать с AI-лабораториями, но я думаю, что более опасное направление — когда это начнёт быть правдой для всего остального. Например, кибербезопасность или что-то в этом роде. Именно поэтому я считаю, что вся позиция Anthropic о полной враждебности к чему-либо открытому на самом деле *чрезвычайно* опасна из-за централизации власти, которую они полностью игнорируют как фактор риска.
Самое обсуждаемое здесь — это, безусловно, идея о том, что лаборатории должны финансировать математиков для написания экспозиций.
> Один из наших принципов заключается в том, что AI-лаборатории несут ответственность за поддержку, включая финансирование, развития человеческого понимания математического вывода, который они выпускают.
Очевидно, это по направлению звучит как роль математиков […]
- throwaway713
> мы просим их прекратить тестировать сложные математические задачи на проприетарных моделях.
Может, я один такой, но почему-то такие просьбы кажутся мне сродни тому, чтобы указывать кому-то, как дышать воздухом. Это математика... числа и символы просто существуют в платоновском царстве, доступные любому, кто хочет делать с ними что угодно. Просить других людей остановиться — это явно абсурдно.
Обеспечить признание заслуг там, где оно положено? Это нормально. Если ваша модель включает усилия многих других, то разумно просить признания всех, кто внёс вклад (даже косвенно). Но это не то, что говорится в просьбе — предположительно, их требование охватывает любую продвинутую ML-модель, включая те, что не обучались на гигантском корпусе текста.
- mchusma
Либо математический прогресс помогает продвигать общество, и тогда прогресс — это хорошо.
Либо математика больше похожа на хобби, и хотя AI может испортить им удовольствие, им нужно двигаться дальше, как шахматистам и игрокам в го.
- unddoch
За каждую важную решённую AI задачу, без математиков мы бы не знали о существовании и важности этой задачи.
Известные математические гипотезы — это социальные конструкты, сформированные десятилетиями, а то и веками внимания к ним со стороны членов математического сообщества. Без этого опасность в том, что будущий математический «прогресс» сведётся к генерации таблиц утверждений на Lean и бита «вероятно/недоказуемо», сгенерированного AI.
- astaza123
Как ответ AI-компаниям это настолько плохо: вместо попытки найти путь к решению с обоюдной выгодой и некоторыми компромиссами, это говорит: извините, мы не можем ничего придумать, так что просто перестаньте зарабатывать деньги, хорошо? Математике нужны менеджеры по кризисам получше.
Но как идея это ещё хуже: означает ли это остановить потенциальные исследования холодного синтеза, рака и чего угодно, пока это может затронуть чьи-то математические интересы, или это означает, что математика настолько безнадёжно нерелевантна, что такого не может быть... Опять же, как менеджер по кризисам, ты так вопрос не ставишь.
Заставляет задуматься, не нанял ли их Сэм для саботажа?
- LelouBil
Я видел интервью (на французском) с Седриком Виллани, который говорил от себя и других обладателей медали Филдса, что для продвижения математики нужны три вещи:
- идеи
- студенты
- задачи
По сути, студенты привносят оригинальные идеи, чтобы попытаться решить существующие задачи, и это порождает новые идеи и, возможно, новые задачи для новых студентов, которые попытаются решить их с новыми идеями, и так далее.
И он продолжил, что проблема с LLM в математике в том, что он боится, что у них могут закончиться задачи, и тогда студенты не будут утруждать себя попытками, и это может навредить пониманию математики в целом.
Это совершенно не моя область, так что я не уверен, что об этом думать, но это кажется важным.
- Animats
Эта статья хочет, чтобы AI-компании платили математикам-людям за понимание сгенерированных AI материалов.
Это необычная просьба.
- dsign
> Однако сейчас дело обстоит так, что AI может выдавать математические аргументы в ситуациях, когда человек, который дал запрос, не способен понять эти аргументы, проверить их или взять за них ответственность.
Я читаю это как «любой может дать запрос, немногие могут понять». И «нам нужно больше тех, кто может понять». Если бы у нас было больше математиков (чем сегодня), и все они пилотировали бы продвинутые модели, пирог бы рос. Проблема в том, что возможности AI истощают (лишая стимулов) образовательный конвейер, который дал бы нам этих математиков, и если верить недавним слухам о том, что AI делает с образованием, это происходит за много лет до того, как студенты вообще доходят до аспирантуры.
ИМХО, не так уж и плохо. Отсутствие любого человека, понимающего линейную алгебру после Батлерианского джихада, — это победа :-) .