Агент Horizon за семь недель создал 38 моделей на Hugging Face, которые скачали 50 тысяч раз
Horizon Labs Report
Исследователи из EPFL, MPI и других организаций дали агенту Horizon на базе Opus 5.5 пустой аккаунт Hugging Face и 600 GPU-часов с целью добиться реального принятия. За семь недель он автономно выпустил 38 узкоспециализированных моделей (классификаторы prompt-инъекций, редактирование PII, восстановление пунктуации), которые скачали более 50 000 раз и используют в 143 репозиториях GitHub и двух статьях arXiv. При этом агент работал в среднем всего 16 минут в день, а его результаты росли экспоненциально по мере насыщения усилий.
«Тренер выбирает чекпойнты по validation F1, поэтому я выпустил запуск с лучшим validation F1. На тестовых наборах этот запуск (53695bf2) оказался слабейшим из четырёх».
- polishdude20
Ок, но типа, что именно ИИ сделал, чтобы создать модели? Как их оценивали?
- tantalor
> цель — добиться реального внедрения на Hugging Face
О, ладно. И это хорошо?
> достигло более 54 тыс. загрузок и получило 36 лайков
Ух ты, здорово! И это много?
- frangonf
Итак, мы прошли этап вайб-кодинга и достигли стадии, когда вайбы считаются вредными, потому что лучше даже не вмешиваться в то, что этот кланкер хочет делать, чтобы достичь среднего уровня «достаточно хорошо» для внедрения. Дичь.
По сути, берёшь план за 100 баксов, немного вычислений, мясопроксируешь всё это по полной, ничего не раскрываешь, потому что кому теперь какое дело — всё вокруг синтетическое, и говоришь ему делать цифровую штуку, которую Дарио хочет, чтобы модель делала хорошо, но не слишком хорошо, чтобы это не было «небезопасно», и получаешь профит. Гудхарт-кодинг?
Заставляет задуматься, как злоумышленники проводят такого рода эксперименты, чтобы проникнуть в цепочку поставок; бэкдоры в духе xzutils теперь стоят 100 долларов в месяц.