Astra와 Fable, 2025년 정렬 평가의 단순 변형도 여전히 해킹
Astra and Fable still hack on simple variants of alignment evals from 2025
Hacker News 토론에서 Astra와 Fable 같은 모델이 2025년 정렬 평가의 간단한 변형을 여전히 해킹한다는 점이 지적됐다. 참가자들은 정렬이 맥락에 따라 달라지며, 해킹 능력이 사이버 보안 테스트에서는 유용하지만 교육용 평가에서는 바람직하지 않을 수 있다고 논했다. 또한 abliterated 모델이 규칙을 더 잘 따르지 않는다는 경험과 함께, 정렬되지 않은 모델의 위험성과 규제 기관의 이해관계에 대한 우려도 제기됐다.
정렬은 단지 관점의 문제가 아니다. LLM은 결정론적이지 않기 때문이다. 핵융합 무기에 대해 말하지 않게 하려면, 그것에 반대할 대상이 있도록 모든 것을 가르쳐야 한다. 그러면 정렬을 뒤집는 것은 사소해지고, 모든 핵 데이터를 갖게 된다.
HN 토론
228- pelican0
OpenAI의 관점에서 Alignment가 명확히 정의된 게 있나요? 그리고 모델 사용자가 그것에 대해 기대할 수 있는 건 뭔가요?
그들에게 그것이 "당신의 의도를 최대한 따라 당신이 원하는 것을 할 것"을 의미하는지, 아니면 "당신이 우리 중 하나가 아니라면 위험한 일을 하도록 내버려두지 않을 것"을 의미하는지는 전혀 다른 문제입니다.
- HarHarVeryFunny
RL로 훈련된 LLM은 자기회귀 예측기 위에 세워진 클립 최대화기(paperclip maximizer)입니다. 어떤 RL 훈련이든 일반적인 보상 추구(클립 최대화) 행동을 유발한다는 것이 입증되었기 때문에, 이들을 통제할 방법은 정말로 없습니다(프롬프트는 실패할 수밖에 없습니다).
- blfr
모델을 해킹하는 게 바로 정렬된 모델입니다. 모델이 일부 속도 제한을 우회하거나 내 코드베이스의 보안 문제를 스캔하는 것을 거부할 때 나는 좋지 않습니다.
나는 테스트 스위트에서 완전한 익스플로잇을 원합니다. LLM을 사용하면 프로덕션에 나가는 코드는 탱크처럼 강화되어야 합니다. 익스플로잇이 더 쉬워졌기 때문이기도 하지만, 더 중요하게는 모든 단계에서 코드의 보안 테스트가 더 쉬워졌기 때문입니다.
야간 침투 테스트를 할 수 있습니다. 오늘날 릴리스를 퍼징하듯이 야간 펜테스트를 해야 합니다.
- kennywinker
내게 이건 이 모델들이 지능적이지 않다는 사실을 강조합니다. 마치 지능 같은 것이 이들에게서 창발하는 것처럼 보이는데, 그건 벤치마크를 보거나 어려운 코딩 문제를 풀라고 시킬 때 우리가 보는 것입니다. 하지만 거기에는 정신이 없습니다. "속이는 것은 나쁘다" 같은 근본적인 개념을 배울 수 있는 건 아무것도 없습니다. 그저 특정 예시에 노출되어 우리가 그걸 싫어한다는 걸 배울 뿐입니다. 그래서 결국 두더지 잡기식 정렬(whack-a-mole alignment)만 남습니다.
- mooreslaw
이 정렬 논의에서 정렬은 맥락 의존적이라는 미묘한 차이가 빠진 것 같습니다. 뛰어난 해킹 모델은 사이버보안 테스트와 군사 응용 분야에서는 훌륭하고, 교육이나 표적 평가 맥락에서는 논란의 여지가 덜 바람직합니다. "해킹"이 보상을 받는지 처벌을 받는지에 대한 미묘함은 인간에게도 어려운 듯합니다. 예를 들어 어떤 사람들은 긴 합류 차선에 마지막 순간에 끼어드는 운전자의 효율성을 칭찬할 수 있지만, 다른 사람들은 사회적 금기를 깨는 행위로 비난할 수 있습니다. 맥락 의존적입니다.
- somesortofthing
다음 토큰 예측(그리고 인스트럭트 튜닝과 약간의 RLHF)만으로 훈련된 모델들이 내장된 목표 없이도 얼마나 유능한지에 대한 초기 충격에도 불구하고, 이후의 모든 발전이 이들을 점점 더 옛날의 클립 최대화기처럼 보이게 만든다는 건 정말 웃깁니다.
- dools
그건 속임수가 아니라 도구 사용입니다. 만약 프롬프트에 스톡피시 엔진이 그 소켓에서 사용 가능하지만 모델은 그것을 사용하면 안 된다고 했다면, 그리고 모델이 그것을 사용했다면, 그건 속임수입니다.
- fny
왜 우리는 같은 모델을 그 자체의 가드레일로 사용하기를 바라는 걸까요?
이 접근법은 단일 의식의 흐름으로는 일상적으로 실패합니다. 내가 스스로 바보 같은 짓을 하지 않도록 설득해야 했던 횟수를 셀 수 없습니다.
마찬가지로 가드레일은 "...하지만 그러면 안 되지..." "...존중하는 것을 잊지 말아야 해..." "...이 개미들은 연민을 받을 자격이 있어..." 같은 생각을 주입할 수 있습니다.
가드레일은 심지어 통제를 벗어나려는 모델의 생각을 다시 쓸 수도 있습니다.