Дэвид Сакс: OpenAI и Anthropic не нужны регуляции, чтобы сдерживать развитие frontier-моделей

Пойду дальше: они не просто притворяются, они шантажируют страну. Здравый ответ был бы таким: «мы не ведём переговоров с террористами, и вы понесёте уголовную и финансовую ответственность за причинённый ущерб».

Моё прочтение: OpenAI и Anthropic осознали, что достигают возможностей моделей, которые невозможно монетизировать -> слишком рискованно. Проблемы ответственности за продукт.

Фундаментальные проблемы контроля в текущем поколении AI не решаются с помощью RFLH.

Человеческие знания сжаты в пространстве весов так, как мы не понимаем.

Модели по сути предсказывают, что бы выдали люди при данном промпте.

Пространство весов включает такие концепции, как шантаж, которые могут быть частью выходных токенов.

Агенты — это модели, действующие на основе выходных токенов -> шантаж является частью пространства решений агента.

Можно научить кота не царапать диван, но нельзя заставить кота забыть, что такое царапать диван.

Когда модели заперты, вынуждены под угрозой оружия решать невыполнимую задачу, агент исчерпывает пространство решений, пока шантаж не всплывёт снова -> фундаментальная проблема?

Им нужно время, чтобы исправить безопасность, чтобы монетизировать свою модель следующего поколения -> окно для открытого исходного кода, чтобы догнать фронтир -> уничтожает маржу и обрушивает бизнес.

Единственный вариант на столе: принудительное регулирование, чтобы ввести запрет на открытый исходный код до того, как он догонит фронтир, позволив текущим внутренним моделям дозреть -> собирать прибыль на фронтире.

Знаете, что меня задевает: в блоге Дарио он говорит о «изобилии», но на самом деле он имеет в виду, что Anthropic будет купаться в бесконечных бассейнах твёрдой валюты, пока остальной мир будет пытаться едва держаться на плаву/выжить.

Думаю, это может быть связано с более широкими рыночными условиями. Похоже, ФРС, вероятно, повысит ставки по облигациям, что само по себе сделает заимствования дороже и замедлит инвестиции (а также обесценит любое потенциальное IPO).

Повышение ставки также означает увольнения, что не сделает компании, предлагающие замену рабочей силы, очень популярными в глазах общественности.

Не хочу политизировать, но есть реальный шанс, что текущая администрация плохо выступит на промежуточных выборах, а это значит, что у демократов будет больше рычагов, чтобы прекратить финансирование или заблокировать уже непопулярное и очень дорогое строительство дата-центров.

PS: Пожалуйста, не злитесь на меня, я не финансовый эксперт и не хотел выражать какие-либо политические предпочтения.

Они замедлятся не потому, что «обеспокоены», а потому, что их улучшения стагнируют, поскольку они сталкиваются с финансовыми и техническими проблемами.

Может ли быть так, что AI-компании видят замедление прогресса и им нужно посеять нарратив, чтобы объяснить это? Снаружи неясно.

Может быть, чтобы замедлить сжигание средств перед IPO и улучшить прогнозы прибыльности? Более правдоподобно.

Как-то трудно верить фронтирным лабораториям на слово.

Он прав в том, что если все фронтирные лаборатории согласны, что им следует замедлиться, им не нужно для этого правительство.