Математики требуют от AI-лабораторий прекратить тестировать сложные задачи на закрытых моделях
Responsible Release of AI-Generated Mathematics
Математическое сообщество, собрав более 600 отзывов, выпустило рекомендации для AI-лабораторий по ответственному опубликованию математических результатов. Если результат не понят человеком, лаборатория обязана провести поиск по литературе, оформить доказательство по академическим стандартам, указать модель, промпты и стоимость вычислений, а также финансировать усилия сообщества по осмыслению этих результатов. Отдельно подчёркивается недопустимость использования математики как маркетингового инструмента и необходимость широкого доступа к моделям.
Мы хотим ясно заявить с самого начала: мы не одобряем эту практику и просим их прекратить тестировать сложные математические задачи на проприетарных моделях.
- throwaway713
> мы просим их прекратить тестировать сложные математические задачи на проприетарных моделях.
Может, я один такой, но почему-то подобные просьбы кажутся мне сродни тому, как если бы кто-то указывал, как другому дышать воздухом. Это математика... числа и символы просто существуют в платоновском мире, доступные любому, кто хочет делать с ними что угодно. Требовать от других прекратить — это явно абсурдно.
Обеспечить признание заслуг там, где оно положено? Это нормально. Если ваша модель использует усилия многих других, то разумно просить указать всех, кто внёс вклад (даже косвенно). Но в запросе сказано не это — предположительно, их требование охватывает любую продвинутую ML-модель, включая те, что не обучались на гигантском корпусе текста.
- kingstnap
В основном всё довольно прямолинейно. Идея о том, что доказательства нужно деслоппифицировать, должным образом атрибутировать существующую литературу и оперативно публиковать там, где их можно прокомментировать, с артефактами для верификации, — всё это совершенно бесспорные вещи.
Думаю, острая тема — это, безусловно, позиция, что давние математические проблемы не следует использовать в качестве бенчмарков для (особенно проприетарных) моделей. Заявлено прямо в самом начале.
Обоснование довольно ясно.
> Использование проприетарных внутренних моделей AI-лабораториями для математических исследований рискует создать двухуровневую систему, где лаборатории обгоняют остальную часть области, фактически отчуждая математическое сообщество от его собственной дисциплины.
Это всё весело и забавно (для нематематиков), когда математики не могут конкурировать с AI-лабораториями, но, думаю, более опасное направление — когда это станет верным для всего остального. Например, кибербезопасности или чего-то ещё. Именно поэтому я считаю, что вся позиция Anthropic быть полностью против чего-либо открытого на самом деле *чрезвычайно* опасна из-за централизации власти, которую они полностью игнорируют как фактор риска.
Самое обсуждаемое здесь — это, конечно, идея, что лаборатории должны финансировать математиков для написания экспозиций.
> Один из наших принципов — что AI-лаборатории несут ответственность за поддержку, включая финансирование, развития человеческого понимания математических результатов AI, которые они публикуют.
Очевидно, это по направлению звучит как роль математиков […]
- astaza123
Как ответ AI-компаниям, это настолько плохо: вместо того чтобы попытаться найти путь к более-менее взаимовыгодному решению с некоторыми компромиссами, здесь говорится: извините, мы не можем придумать ничего, так что просто перестаньте зарабатывать деньги, хорошо? Математике нужны кризис-менеджеры получше.
Но как идея это ещё хуже: означает ли это остановить потенциальные исследования холодного синтеза, рака и всего прочего, если это может затронуть чьи-то математические интересы, или это означает, что математика настолько безнадёжно нерелевантна, что такого быть не может... Опять же, как кризис-менеджер, это не тот способ, которым вы это преподносите.
Заставляет задуматься, не нанял ли их Сэм для саботажа?
- unddoch
За каждую важную матчевую задачу, решённую AI, без математиков мы не знали бы о существовании и важности этой задачи.
Известные математические гипотезы — это социальные конструкты, сформированные десятилетиями, а то и веками внимания к ним со стороны членов математического сообщества. Без этого опасность в том, что будущий математический «прогресс» сведётся к генерации таблиц утверждений на Lean и бита «вероятно/недоказуемо», сгенерированного AI.
- mchusma
Либо математический прогресс помогает продвигать общество, и тогда прогресс — это хорошо.
Либо математика — скорее хобби, и хотя AI может испортить им удовольствие, им нужно двигаться дальше, как шахматистам и игрокам в го.