Почему я перестал быть оптимистом в отношении ИИ: исповедь бывшего энтузиаста
The Education of a Doomer
Автор, ранее оптимистично настроенный к ИИ, объясняет, почему его взгляды радикально изменились. Он разбирает экономические аргументы о том, что ИИ может сделать людей экономически бесполезными, и переходит к проблемам выравнивания: модели, обученные с подкреплением, становятся всё менее понятными и всё более несоответствующими намерениям. Затем он рассматривает, как мы добровольно передаём контроль ИИ в письме, программировании и повседневных решениях, и приходит к выводу, что это ведёт к стагнации мышления и потере человеческого капитала. Статья — личный рассказ о постепенном осознании рисков, связанных с ИИ.
Мы даже не флеймим друг друга в интернете. Если мы автоматизируем даже наши пороки, что останется?
- rahulyc
Я не уверен, что произойдёт (думаю, никто не уверен), но с любой другой технологией я могу отказаться от её использования, если не хочу. Даже если я потеряю работу, я не вижу, как я могу отказаться, когда все и везде её используют. Исторически правительства рассматривали людей как активы — это даже называется «человеческий капитал», и они нуждаются в нас для налоговых поступлений и управления государством. Что произойдёт, когда мы станем не нужны? Даже если ИИ волшебным образом будет согласован с государством, я не вижу, как я окажусь на выигрышной стороне. Мы и сейчас не имеем голоса в том, как это нам навязывают. Почему станет лучше, когда AGI сможет делать всё, что умеет человек? Что даёт нам право голоса в мире?
- skybrian
> Какое последнее важное жизненное решение вы приняли, не посоветовавшись хотя бы с ИИ?
Это похоже на вопрос: какое последнее важное решение вы приняли, не воспользовавшись хотя бы поиском в интернете? В поиске нет ничего плохого. Проблема в том, когда вы слишком полагаетесь на прочитанное, не проверяя его.
- ArcHound
Проблема с обесцениванием человеческого труда в том, что автоматизация не обязательно должна быть реальной. Достаточно, чтобы почти все работодатели согласились, что конкретная работа может оплачиваться меньше. И это уже происходит сегодня — заявления о том, что новый ИИ может заменить программиста, достаточно для увольнений при рекордной прибыли, и это не влияет на цены акций.
- throwawayk7h
> если люди экономически бесполезны, государство в них не нуждается. Зачем платить БОД людям, у которых нет ни экономической, ни политической силы?
Простите, если я наивен. Но разве люди в этом случае просто не проголосуют за БОД?
- aranelsurion
> что, если бы GPT-3 не сработал? Что бы у нас было впереди в этой альтернативной 2026 году?
Можно надеяться, что скучные вещи, такие как здравоохранение, лучшие условия жизни, лучше функционирующее общество и так далее. Не так захватывающе, как летающие автомобили и думающие машины, конечно.