Руководители AI-лабораторий не замедляют прогресс, а жмут на газ

Мне всегда казалось странным, что люди, достаточно умные, чтобы работать в областях, требующих высокого IQ, так же легко поддаются манипуляциям — будь то риторика или идеология — как и все остальные.

В детстве я всегда предполагал, что каждый интуитивно ухватит какой-то аспект теории игр. Я до сих пор помню тот день, когда узнал, что теория игр существует — это было как узнать, что кто-то успешно систематизировал здравый смысл.

Большинство людей воспринимают то, что говорят другие, так, будто это стоит внимания. Сигналы без издержек полезны лишь как знание о том, во что сигналящий хочет заставить верить дураков.

> Мотивация людей, создающих ИИ, не совпадает с мотивацией тех, кто руководит лабораториями. Если посмотреть на последние несколько лет, то это была дорога в одну сторону из OpenAI в Anthropic, и главная причина, похоже, не в лучшей компенсации и даже не в их победе, а в основном в том, что они обещали этим сотрудникам, что будут наиболее осторожны при создании этой волшебной лампы. Их позиция в 2023 / 2024 годах была одной из ключевых причин, позволивших привлечь эти таланты.

> Если верить недавним новостям, культура Anthropic даже сегодня, похоже, во многом держится на этом эффекте.

> На мой взгляд, это был ведущий фактор в привлечении и удержании лучших сотрудников, которые часто очень обеспокоены тем, что человечество погибнет от сверхинтеллекта.

Я не рассматривал эту точку зрения, но в ней много смысла. Многие сотрудники Anthropic искренне в это верят и называют акцент на безопасности ключевой причиной, по которой они там работают. Теперь даже пост Дарио «Pacing the frontier» обретает смысл — он в такой же мере для его сотрудников, как и для остального мира.

Эта статья полностью порочна с самого начала, где утверждается, что ничего не было сделано, никаких реальных усилий не приложено. Достаточно простого поиска: «какие усилия были предприняты и какие меры защиты введены после заявления CAISS в 2003 году?»

Она также демонстрирует ту же ошибку в рассуждениях, что и многие критические отзывы о предосторожных инициативах или вмешательствах в проблему:

Предполагается, что проблема, траектория которой находилась в определённой точке, когда инициатива начиналась, потерпела неудачу просто потому, что она не решена в желаемые ими сроки или по их стандарту успеха, или что она не была содержательно изменена по сравнению с тем, что было бы иначе.

Что случилось с осознанием того, что есть трудные проблемы, что могут потребоваться разные подходы, или что испробованные вещи были частичными, а не полными решениями?

В статье говорится, что главная мотивация CEO ИИ-компаний — удержать таланты, повторяя правильные тезисы для своих сотрудников. Для OpenAI это «Наше дерьмо настолько мощное, что мы его боимся... Нам нужно регулирование!» Для Anthropic это «Это дерьмо безумно! Оно может выйти из-под контроля! Мы хорошие парни, и вам нужен хороший парень с пистолетом в этой борьбе».

Но я думаю, они оба думают об одном и том же... «При таких темпах у нас закончатся деньги».

Однако! Если один из них моргнёт и перекроет денежный кран раньше другого, он может отстать. Отстать — значит проиграть навсегда. А если есть что-то, что CEO ненавидит, так это проигрывать конкурирующему CEO.

Так что они хотят, чтобы кто-то, кто угодно, притормозил их соперников и их самих одновременно, чтобы они оба могли Не Проиграть и Остаться Живыми. При этих новых правилах они уверены, что смогут победить. А под победой я имею в виду обыграть другого ИИ-CEO.

Вот и всё. Всё всегда сводится к личным интересам. Уберите эту чушь про безопасность. Эти ребята просто хотят победить.