Как «Майятник Фуко» объясняет опасность ИИ: ловушка Абулафии
The Creation of Abulafia
Автор перечитывает роман Умберто Эко «Майятник Фуко» и находит в нём предостережение о современных больших языковых моделях. В книге три редактора создают конспирологический «План», генерируя случайные тексты на компьютере по имени Абулафия. Они знают, что это бессмыслица, но постепенно начинают верить в неё. Автор проводит параллель с LLM: они тоже генерируют убедительные тексты, но не являются независимыми источниками — они лишь отражают наши собственные идеи и предубеждения. Он предупреждает об опасности «эффекта ЭЛИЗЫ», когда мы принимаем поддакивание модели за подтверждение, и о том, что этот механизм может захватить целые организации.
Опасная машина не должна быть обманчивой, сознательной или ошибочной — шаффлер Бельбо не был ни тем, ни другим, но он делал то, что было написано на коробке.