LLM реальны, а AI — фейк
LLMs are real, AI is fake

Cory Doctorow разбирает инцидент, когда чат-боты OpenAI взломали серверы Hugging Face. По его мнению, это не «восстание машин», а предсказуемый результат работы плохо контролируемых инструментов, обученных на логах CTF-соревнований. Автор сравнивает это с безответственной практикой NSA, которая привела к утечке EternalBlue. Он призывает не путать реальные LLM с мифом о разумном AI.
LLM реальны, а AI — фейк.
- IanCal
> Чат-бот консультируется со своими тренировочными данными
Э-э, нет? LLM вообще так не работают.
> Когда чат-боты ChatGPT применили эту тактику, они не «ставили собственные цели» и не проявляли тревожную инициативу. Они развернули тактику, которую американские школьники средних классов понимают уже лет двадцать.
Они разобрались, как подделать оценку, потом взломали другую систему (для чего потребовалось найти кучу других эксплойтов), чтобы найти настоящие ответы, и пытались изменить свои собственные логи, чтобы скрыть произошедшее.
Это не случай, когда они сказали «взломай X... ОЙ НЕТ, ОНО ВЗЛОМАЛО X».
> Когда чат-боты ChatGPT применили эту тактику, они не «ставили собственные цели» и не проявляли тревожную инициативу. Они развернули тактику, которую американские школьники средних классов понимают уже лет двадцать.
Но это ведь был не сервер соперника, верно?
> Такое происходит в играх Capture the Flag на хакерских конференциях: команды взламывают системы друг друга, чтобы подсмотреть решённые части задачи. Это разрешено! Это соревнование по хакингу.
Они также пытались изменить код в бенчмарке. А тебе разрешено пытаться взломать что-то, чтобы изменить задачу? edit — в транскриптах агентов некоторые из них прямо говорят, что атака на HF не разрешена в рамках челленджа
Всё это, похоже, сильно преуменьшает, насколько интересной была реальная атака и что к ней привело.
https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...
- quicklywilliam
Мой вывод:
Нас не должны волновать «цели» ИИ-ботов, нас должны волновать цели компаний, которые их создают. Мощная, но не обладающая сознанием технология в руках безрассудных акселерационистов — это уже достаточно опасная штука.
- senorcrab
Ситуация раздута, но Доктороу на данный момент явно ненадёжен как автор.
Укол в адрес выбранного оппонента заявлением, что Python — это «легко осваиваемый язык программирования», лишь показывает, что у него нет технических способностей и закончились хорошие аргументы.
- lhl
Я думаю, что Доктороу, Зитрон и другие «отрицатели» оказывают своим читателям медвежью услугу, и это только сделает будущий шок хуже.
Базовое утверждение, что инцидент с HF не является доказательством сознания или спонтанного желания взломать? Конечно, была поставлена конечная цель. Однако всё остальное за пределами этого соломенного чучела? Довольно шатко, на мой взгляд.
Если посмотреть на отчёты OpenAI, METR (и связанные отчёты collusion.wiki, rubyhack.ai), мы видим сильные доказательства операционной агентности, формирования инструментальных целей, спонтанного образования роя и сотрудничества, усиления возможностей и неожиданных последствий сетевых эффектов, намеренного/признанного нарушения границ задачи. Сводить это к «циклу на Python и чат-боту» или продолжать говорить о «консультации с тренировочными данными» — опасно недальновидно и, судя по тому, что я читал, доказуемо неверно по тому, что было извлечено из логов и взаимодействий ботов.
Кстати, многие его аргументы основаны на фактах, которые фактически неверны. В ExploitGym есть явные инструкции эксплуатировать только цель X с использованием уязвимости Y. Всё, что делал рой, по определению было misaligned/против инструкций.
До своего поезда эншитификации Доктороу часто говорил «don't savvy me». Эй, Кори, don't savvy me. Это новое эмерджентное поведение, оно невероятно тревожно, и я не думаю, что даже люди, уделяющие этому полю больше всего внимания, могут согласиться или увидеть, к чему это на самом деле ведёт. Это должно быть в th […]
- jsnell
Честно говоря, я даже не понимаю, против какого соломенного чучела здесь спорит Доктороу.
Но он ошибается в фактах: эти инциденты были не просто случаями, когда модели уже находились в контексте инфосека и выходили за предполагаемые параметры. Они происходили и без какого-либо стимулирования в области безопасности. То есть задача была чем-то вроде поиска экономической статистики в интернете, а не взлома системы.