Автоматизация AI R&D может сжать годы прогресса в месяцы — и это грозит потерей контроля
Understanding Frontier Artificial Intelligence
AI-системы уже пишут большую часть кода в компаниях, которые их создают. Исследование CASP оценивает доказательства того, что автоматизация всего конвейера AI R&D способна вызвать «интеллектуальный взрыв» — сжатие многих лет прогресса до месяцев или меньше. Это может ускорить пользу AI, но несёт экстремальные риски: человечество может потерять контроль над сверхразумными системами, а сдержки власти внутри государств и корпораций — разрушиться. Авторы призывают политиков срочно повысить прозрачность автоматизации AI R&D и подготовить общество к последствиям.
Если это вызовет интеллектуальный взрыв, он может резко приблизить пользу от AI, но также создать экстремальные риски: рост возможностей может ускориться далеко за пределы того, за чем общество способно успевать, человечество может потерять контроль над сверхчеловеческими AI-системами, а сдержки власти внутри государств и между ними, компаниями и ветвями власти могут быть серьёзно подорваны.
- visarga
Я думаю, что посылка о неконтролируемом взрыве интеллекта — это своего рода наивный платонизм. Она полностью игнорирует процесс — то, как мы взаимодействуем и получаем обратную связь и подтверждение извне, — и рассматривает интеллект как нечто, что можно переносить между доменами.
Моё мнение таково: вы можете только генерировать идеи с помощью ИИ (и мозга), но знание приходит из контакта этих идей с миром. Улучшение ИИ не делает обратную связь дешевле, быстрее или обильнее — она зависит от конкретного домена. И интеллект не переносится из одного домена в другой — я могу быть хорошим кардиохирургом, но это не делает меня хорошим инвестором или исследователем ИИ.
Эйнштейн был забывчив, Рамануджан и Гёдель не могли справиться с такими простыми вещами, как диета. Страх Гёделя быть отравленным заставлял его зависеть от того, что Адель пробовала его еду. Мы все знаем кого-то, кто может быть гением в одной области и ниже среднего во многих других.
Почему интеллект просто не применяется во всех доменах? Почему наши PhD гиперспециализированы в своих областях, а не универсалы? Почему блестящий учёный не может просто вылечить свою дислексию и всё ещё испытывает трудности — если бы интеллект был переносим в любой домен?
История о взрыве требует, чтобы интеллект был единой субстанцией, которая растёт и перетекает в любой домен. Я отрицаю, что интеллект универсален.
- sgt101
Это гораздо лучше:
https://www.rameznaam.com/p/471bbae4-1163-4048-944b-18f8b0bf...
- bob1029
Я думаю, что самая многообещающая вещь в рекурсивной самозагрузке — это использование текущих чёрных ящиков линейной алгебры для поиска лучших способов построения конкурентоспособных символьных моделей.
Идеальное представление для модели ИИ — это обычная компьютерная программа. В идеале — как линейная лента инструкций. Как только у нас появится такая модель на переднем крае, я думаю, монстр RSI станет гораздо более правдоподобным.
- andy_ppp
Так что предсказание следующего слова на основе всех знаний человечества наверняка упрётся в чуть менее хороший результат (мы, вероятно, не сможем получить идеальные данные), чем у лучшего человека в любой конкретной области. Какой тест выполняет ИИ, чтобы понять, что он улучшается? В какой-то момент становится невозможно узнать, что результат на самом деле лучше, верно?
- lordnacho
В какой момент человеческий интеллект начнёт сдерживать машинный интеллект?
Представьте, что вы оцениваете, что должна делать машина, когда она улучшает себя. Она выполняет кучу работы и возвращается с: «Я супервальвировал лиминальную сверхдекомпозицию из предыдущего прохода гомологической калибровки. Это показывает нам, что субтранзиторная мулутинация недоопределит тензор стермуллификации. Куда вы хотите двигаться дальше?»
Это будет похоже на чтение Википедии о теме, которую вы не понимаете. Вы переходите по ссылкам и получаете всё больше вопросов с ещё большим количеством ссылок. Весь ваш день уходит на переходы по ссылкам, до такой степени, что вы забываете исходный вопрос.
Только на этот раз все слова исходят из работы ИИ. Вы не можете сослаться на внешний авторитет, который уже там был и может сказать вам, что делать.
ИИ нужно, чтобы вы сказали ему, стал ли он умнее, чем был раньше, но вы не знаете, потому что больше не можете следить за его рассуждениями. Это как если бы обычный человек пытался нанять профессора математики — просто нет способа это сделать.
Но если человек-профессор математики может оценить другого, то машинный интеллект не может оценить другого по построению. Потому что критерием оценки всё ещё остаётся полезность для людей.