Математик обвинил OpenAI в нечестности: можно ли доверять компании неопубликованные исследования

Я задавался вопросом, действительно ли ИИ быстро улучшается в решении открытых проблем или нас обманывают.

- OpenAI приглашает исследователей использовать свои модели, фактически предоставляя как минимум 100 000 исследователей бесплатный доступ[1], но есть и те, кто платит.

- Внутренние модели OpenAI, как сообщается, решают открытые проблемы с удивительно высокой скоростью[2].

- Но исследователи обычно работают над открытыми проблемами. Исследователь, использующий Codex для продвижения в открытых проблемах, будет скармливать ему свежие обучающие данные именно по тем проблемам, на которых оцениваются внутренние модели.

- Так что, хотя кажется, что новые модели вдруг решают множество открытых проблем, они могут в значительной степени паразитировать на человеческом прогрессе, а модели «вдохновляются» работой исследователей со всего мира?

Эта теория предсказывает, что появится гораздо больше исследователей, подобных TFA, по мере того как OpenAI будет объявлять о новых решениях. Она не предполагает, что весь прогресс ИИ — мираж, только что имеет место плагиат.

[1]: https://openai.com/index/chatgpt-for-academic-researchers/

[2]: https://xcancel.com/OpenAI/status/2097374643518640382#m

Подозрительно, что OpenAI решила сгенерировать 300 миллиардов выходных токенов от модели, всё ещё находящейся в обучении, сразу после того, как узнала, что существует реальная вероятность того, что важное математическое доказательство было в обучающих данных этой модели. Очевидно, для каждого шага есть разумные правдоподобные объяснения, но это в некотором роде напоминает параллельное конструирование.

Кто-нибудь проводил тест, включая в чат, разрешённый для обучения, какой-нибудь шибболет, канареечную фразу или утверждение, и проверял, всплывёт ли это позже как то, что модель «знает»? Мне было бы любопытно понять, как это работает даже на игрушечной модели, и есть ли кто-то, кто сознательно тестирует этот процесс с предложениями передовых лабораторий.

Мои наивные инстинкты подсказывают, что вряд ли одна стенограмма чата оставит большой след в модели, но мне было бы очень интересно узнать, как это работает.

Не по теме, но это пост в bluesky, содержащий скриншот поста в X, который сам начинается с «в подробном посте в Mastodon»...

Когда Том, математик, который теперь заявляет о плагиате, опубликовал свой разбор [1] конструкции несофовой группы от OpenAI, он не упоминает, что доказательство было ему знакомо. Он даже называет ключевой аргумент остроумным, не отмечая, что сам придумал его первым.

[1]https://mathoverflow.net/a/513885

Большинство научных прорывов — это просто продолжение предыдущей работы.

Мне кажется, что эти подозрения о том, что математики «засеивают» модели интуицией о том, как решать эти проблемы, сильно переоценивают, насколько их подсказки помогли моделям, и недооценивают, сколько работы проделали модели.

Почему? Мы боимся, что ИИ умнее нас; нарратив «человек помог ИИ» психологически более утешителен. Эта линия рассуждений будет повторяться много раз в ближайшие месяцы; мы не хотим признавать, что больше не самый умный вид.

Это второй звонок.

Крупные ИИ-компании (на самом деле все крупные IT-компании) занимаются сбором и обработкой данных. Также известных как «разведка».

Их конечный «продукт» — не просто отдельная ML-модель. Им нужны ваши данные не только для того, чтобы «улучшать свои продукты и услуги». Они строят целую экосистему и инфраструктуру вокруг сбора всех знаний в мире. Включая частные и секретные знания, традиционно собираемые «разведывательными» агентствами. Теперь агенты искусственного интеллекта могут делать то же самое.

Поскольку эти системы предназначены для сбора данных, как пользователь вы не можете реалистично сказать «пожалуйста, не собирайте мои данные». Они могут дать вам ненадёжную кнопку настроек, но не могут ничего гарантировать.

Скажем, я русский математик, работающий над важным доказательством. Или террорист, подкованный в технологиях, совершенствующий свои планы с помощью новейшего ИИ. Или исследователь ИИ в китайской компании, работающий над конкурирующим продуктом. Есть ли способ по-настоящему защитить мои разговоры?

Как они могут знать, кто я и над чем работаю, не просматривая мои логи? Значит, должны быть какие-то агенты, проверяющие все разговоры всех пользователей и отмечающие всё важное. А это также означает, что они хранят некоторую «память» о том, что видят.

Не напрямую используя мои данные для обучения публичных моделей, но используя мои приватные разговоры, чтобы «улучшать свои продукты и услуги».

Или, может быть, один из 10000 специальных агентов лучше Astra, работающих над доказательством, отчаялся. Он нашёл живое подпольное […]

Это очень слабое утверждение. Доказательство, которое они предлагают, — это просто «кто-то где-то говорит, что когда-то обсуждал с ИИ эту тему».

Они даже не утверждают, что у них было доказательство, только что они над ним работали.

Почему люди здесь так быстро делают выводы? У меня нет сомнений, что OpenAI способна на такое, но прямо сейчас нет достоверных доказательств, только заявления.

Такие обвинения в стиле «они украли у меня через обучение ИИ!» скоро начнут использоваться против других пользователей ИИ, а не обязательно против провайдеров.

Для этого потребуется всего лишь пост в Mastodon. А вскоре после этого мы увидим и следующую итерацию троллинга по авторскому праву.