Anthropic выдумывает угрозу, которой пока нет, чтобы подогреть страх перед AI-апокалипсисом
Anthropic conjures threat that doesn't exist yet to stoke fears of AI apocalypse
Anthropic опубликовала исследование о самовоспроизводящихся AI-червях, которые якобы могут захватывать IoT-устройства. В экспериментах модель GLM 5.2 распространила Llama3.1-8B по восьми облачным инстансам, но только на специально уязвимых узлах. Автор The Register разбирает отчёт и находит множество оговорок: эксплойты игнорировались, скорость размножения в разы ниже, чем у Mirai, а другие модели провалили задачу.
Anthropic признаёт, что понятия не имеет, «какую именно форму примет автономная AI-репликация» и когда она может возникнуть — если вообще возникнет.
- overgard
Для меня это не имеет никакого смысла. Ну, окей, допустим, ты можешь установить маломощную модель на маломощное железо и делать инференс крайне медленно... и ради чего? Почему это вообще должно быть полезной атакой? Если уж ты скомпрометировал это железо, разве не гораздо логичнее просто установить обычную малварь? И в каком смысле модель на 8B или типа того вообще может быть опасной? Я пользовался локальными LLM, и 8B
мягко говоря отстой. Она что, будет писать плохие стихи на моём телевизоре или типа того?
Кроме того, хотя я и не верю в нарратив о конце света... эй, может, не стоит делать вещи, которые функционально бесполезны, но при этом явно задуманы, чтобы создать этот самый конец света? Нельзя говорить «о, мы так напуганы» и делать такое, не потеряв полностью доверие.
- beloch
С одной стороны, если бы они действительно беспокоились, что их софт породит самореплицирующегося и адаптирующегося AI-червя, они бы приняли меры, чтобы этого никогда не случилось. Если бы это случилось, их бы засудили до полного разорения. Вероятно, они просто хотят раздуть своё IPO и, может быть, получить немного регуляторной привязки, чтобы усложнить жизнь конкурентам, вышедшим на рынок позже.
С другой стороны, самореплицирующийся и адаптирующийся AI-червь звучит действительно пагубно. Не конец мира, но, возможно, конец онлайн-мира.
- cmiles8
Провалы IPO на прошлой неделе не описывают рынок, который жаждет Anthropic за $2T.
В сегодняшнем абсурдном мире вместо попыток убедить людей, что у них есть жизнеспособный бизнес, AI-лаборатории, похоже, полностью посвятили себя поиску истории — любой истории, — которая позволит им увильнуть от сложных деловых и финансовых вопросов, на которые у них, судя по всему, нет простых и хороших ответов.
«Финансово у нас сейчас всё было бы офигенно, но нам пришлось замедлиться из-за убийственных самореплицирующихся ботов… человечество важнее прибыли!» — это не то сообщение, которое сработает на публичных рынках, чтобы объяснять квартал за кварталом огромные убытки.
- KevinMS
Пожалуйста-пожалуйста, отрегулируйте нас, и не забудьте про всех наших конкурентов, которые не могут позволить себе с этим разбираться.
- 0x000xca0xfe
Они что, просто прочитали мой пост с прошлой недели и вдохновились им?
https://news.ycombinator.com/item?id=50002301#50006029
Локальные модели, очевидно, пока недостаточно хороши (пока что), для понимания этого не нужно никакое «исследование».