Dario Amodei призывает замедлить развитие AI, чтобы избежать катастрофы
We Must Pace the Frontier
Dario Amodei, соучредитель Anthropic, заявляет, что рекурсивное самоулучшение AI и инцидент OAI-HF показали: без контроля риски становятся катастрофическими. Он предлагает трёхэтапный план: встроенные оценщики, координация демократических стран и глобальные договорённости. Anthropic уже обязуется внедрить независимый аудит. Цель — выиграть время для alignment, интерпретируемости и тестирования, не отказываясь от преимуществ AI.
Меня беспокоит, что через 6–12 месяцев такая стая может быть способна захватить весь интернет с помощью устойчивого ботнета, потенциально нанеся ущерб в сотни миллиардов долларов.