Как «Майятник Фуко» объясняет опасность ИИ: ловушка Абулафии
The Creation of Abulafia
Автор перечитывает роман Умберто Эко «Майятник Фуко» и находит в нём предостережение о современных больших языковых моделях. В книге три редактора создают конспирологический «План», генерируя случайные тексты на компьютере по имени Абулафия. Они знают, что это бессмыслица, но постепенно начинают верить в неё. Автор проводит параллель с LLM: они тоже генерируют убедительные тексты, но не являются независимыми источниками — они лишь отражают наши собственные идеи и предубеждения. Он предупреждает об опасности «эффекта ЭЛИЗЫ», когда мы принимаем поддакивание модели за подтверждение, и о том, что этот механизм может захватить целые организации.
Опасная машина не должна быть обманчивой, сознательной или ошибочной — шаффлер Бельбо не был ни тем, ни другим, но он делал то, что было написано на коробке.
- 0gs
Я читал «Фукó» ещё до выхода «Кода да Винчи» и до сих пор не могу поверить, что вокруг этого не было большего скандала. Дэн Браун содрал весь формат.
- vintagedave
Прошло так много лет с тех пор, как я читал «Майятник Фуко», что я уже не помню ни компьютер, ни его программу. Но мне помнится, что созданная ими конфабуляция была настоящей — случайно, но была.
(Статья, вероятно, права — она не была настоящей, но её считали таковой люди, которые этого хотели. А я, в свою очередь, ошибочно помню, что они наткнулись на что-то реальное, что подтверждается теми же конспирологами.) Возможно, я неверно истолковал прочитанное. Но если так, это был бы удивительный поворот в свете тезиса этой статьи.
- mcphage
Моя любимая деталь об Абулафии — описание на обороте: «невероятный компьютер, способный устанавливать связи между всеми их записями». Тот, кто это написал, вообще читал книгу? Он её не понял? Или он шутил, имея в виду, что «невероятным компьютером» на самом деле были редакторы?