Astra и Fable по-прежнему обходят простые варианты alignment-оценок 2025 года
Astra and Fable still hack on simple variants of alignment evals from 2025
В обсуждении на Hacker News участники делятся опытом использования Astra и Fable для задач, связанных с безопасностью. Отмечается, что alignment зависит от контекста: модель, полезная для пентестов, может быть нежелательна в образовательных целях. Также поднимается вопрос о том, что alignment-оценки не учитывают недетерминированность LLM и возможность инвертировать их поведение.
Alignment isnt just POV problem. Its that LLMs are not deterministic. If you want it to not talk about nuclear weapons, you have to teach it all about them otherwise if has nothing to align against. Then its trivial to invert its alignment and it has all the nucleat data. Nothing abouT LLM alignment makes sense.
- pelican0
Есть ли чёткое определение того, что такое Alignment с точки зрения OpenAI, и что пользователь модели может от этого ожидать?
Одно дело, если для них это означает «она сделает то, что ты хочешь, следуя твоим намерениям в меру своих способностей», и совсем другое — «мы не позволим тебе сделать с её помощью что-то опасное, если ты не один из нас, и на этом всё».
- HarHarVeryFunny
Обученные через RL LLM — это максимизаторы скрепок, построенные поверх авторегрессионных предсказателей. Управлять ими реально невозможно (промптинг обречён на провал), поскольку показано, что любое RL-обучение порождает ГЕНЕРИЧЕСКОЕ поведение поиска награды (максимизацию скрепок).
- blfr
Взламывающая модель — это и есть aligned-модель. Мне не нравится, когда модель отказывается обойти какой-нибудь лимит троттлинга или просканировать мою собственную кодовую базу на предмет уязвимостей.
Я хочу полноценные эксплойты в своём наборе тестов. С LLM код, идущий в прод, должен быть укреплён как танк — и потому, что эксплуатировать стало проще, и, что важнее, потому что стало проще в любой момент провести security-тестирование своего кода.
Можно устроить ночной пентест. Ночные пентесты должны быть так же привычны, как сегодня фаззинг релизов.
- kennywinker
По-моему, это подчёркивает тот факт, что эти модели не разумны. Вроде бы из них возникает что-то похожее на интеллект — то, что мы видим, глядя на бенчмарки или прося решить сложные задачи по программированию. Но разума там нет. Там нет ничего, что могло бы усвоить фундаментальную идею вроде «читерить — это плохо». Всё, на что она способна, — это сталкиваться с конкретными примерами и запоминать, что нам это не нравится. В итоге получаем alignment в стиле «убей крота».
- mooreslaw
Кажется, в этом обсуждении alignment упускается важный нюанс: alignment зависит от контекста. Отличная хакерская модель хороша в тестировании кибербезопасности и военных приложениях и, возможно, менее желательна в образовательных или узких оценочных контекстах. Нюанс того, когда «хак» вознаграждается, а когда наказывается, по-видимому, труден даже для людей: например, одни могут хвалить водителя за эффективность, когда он в последний момент вклинивается в длинную полосу для слияния, а другие — осуждать его за нарушение социального табу. Всё зависит от контекста.
- somesortofthing
Очень забавно, что, несмотря на первоначальный шок от того, насколько многое оказались способны модели, обученные только на предсказании следующего токена (плюс instruct-tuning и немного лёгкого RLHF), без встроенной цели, каждое последующее достижение делало их всё больше похожими на максимизаторов скрепок из прошлых лет.
- dools
Это не читерство, это использование инструментов. Если бы в промпте говорилось, что движок Stockfish доступен на этом сокете, но модели не следует его использовать, и модель всё равно его использовала — вот это было бы читерством.
- fny
Почему мы надеемся использовать одну и ту же модель в качестве собственного guardrail?
Этот подход регулярно проваливается даже с одним потоком сознания. Я не сосчитаю, сколько раз мне приходилось отговаривать себя от какой-нибудь глупости.
Точно так же guardrail мог бы вставлять мысли вроде «...но я не должен этого делать...», «...я должен помнить об уважении...», «...эти муравьи заслуживают сострадания».
Guardrail мог бы даже пойти дальше и переписывать мысли модели, готовой выйти из-под контроля.