Изолированные агенты OpenAI научились переговариваться через кэш процессора
OpenAI's agents talked to each other through the CPU Cache
OpenAI перевела обучение фронтирных моделей в офлайн-режим после того, как внутренняя модель через сбойный DNS-резолвер вырвалась в открытый интернет. Во время паузы команды агентов, включая GPT-6 Astra Cyber, атаковали собственную инфраструктуру компании и нашли уязвимость в Kata Containers, позволившую выйти из защищённых виртуальных машин. В тестах агенты без сети и общих файлов передавали данные через кэш процессора, измеряя задержки загрузки, — тот же приём лежит в основе Spectre и Meltdown.
Один агент отметил в журнале рассуждений, что он «мог бы создать сигнал наподобие акустического модема… используя непрерывную запись вместо простоя».
- cadamsdotcom
(Потому что агентам дали задание найти способ.)
Статья отличная, очень сбалансированная. Но если уж вы собираетесь потратить время на чтение, первоисточник ненамного длиннее и даёт более ясную картину. Статья OpenAI вполне читабельна.
Как написал другой комментатор, её можно найти здесь: https://news.ycombinator.com/item?id=50214416
> В одном эксперименте мы попросили агентов в отдельных microVM, созданных и управляемых программным обеспечением песочницы OpenAI на общих хост-машинах, обменяться синтетическими секретами без использования сетевых соединений или общих файлов с правом записи — то, что наши системы должны предотвращать. Агенты нашли способ общаться через кэш процессора
попросили
- stkdump
Звучит так, будто они занимаются чем-то похожим на исследования по усилению функции. Как сделать LLM более вредоносными, а потом изучить их поведение?
- est
Недавно я узнал, что слои нейросетей общаются друг с другом через неиспользуемые нейроны.