추론은 정답을 향해 수렴하지 않는다 — 성공 확률만 높일 뿐
What objective is reasoning solving?
추론을 토큰 공간에서의 경로 탐색으로 보면 혼란이 풀린다. 모델은 프롬프트에서 출발해 정답 집합에 닿는 여러 경로 중 하나를 샘플링할 뿐이며, RL은 개별 경로가 정답으로 수렴하도록 만드는 게 아니라 성공 확률을 끌어올린다. REINFORCE는 사실상 성공한 경로에 대한 rejection-sampling fine-tuning과 같고, 추론 시간에 '더 오래 생각해서' 얻는 이득은 훈련 중 치른 탐색 비용을 가중치에 상각한 결과다. 그래서 단일 샘플의 성공은 보장되지 않는다.
추론은 사실 어떤 목적함수도 풀고 있지 않다. 하나의 경로는 정답으로 수렴한다고 보장되지 않는다. 경로들의 분포 전체를 놓고 집계할 때에만 높은 성공 확률을 얻는다.
HN 토론
67- htrp
>저는 샌프란시스코에 기반을 둔 연구자입니다. 세상이 어디로 향하고 있는지, 그리고 거기에 도달하려면 무엇이 필요한지 상상하는 것을 좋아합니다.
>스탠포드에서 컴퓨터 과학 박사 학위를 받았으며, 그곳에서 시퀀스 모델링과 메모리를 위한 장문맥 아키텍처를 설계했습니다. 그 전에는 코넬에서 수학과 물리학을 공부했습니다. 가장 최근에는 Cartesia에서 연구 과학자로 일하며 인컨텍스트 토크나이제이션과 새로운 아키텍처(HNets)를 연구했습니다.
MSL의 Alex Wang은 아님
- derefr
그것은 인간 두뇌에서 "사고의 연쇄"(내적 발성)가 해결하는 것과 같은 문제를 해결합니다. 즉, 당신이 듣거나 읽은 단어들에 대한 일화적 기억으로서 "알고" 있지만 아직 연습을 통해 반사 반응으로 내면화하지 못한 것들이 많이 있습니다. 어떤 단어들에 대한 기억을 습득하는 것이 완전히 새로운 기술을 습득하는 것보다 훨씬 빠르고 저렴하기 때문에, 주어진 훈련 코퍼스에서 구체적인 기술보다 단어 기억을 훨씬 더 많이 습득하게 됩니다.
추론(즉, 그 기억된 단어들을 정신적 맥락으로 끌어올린 다음, "주의 마스킹된 맥락의 내용과 진행 중인 상태에 따라 효과적으로 임의의 시냅스 활성화를 유발하는" 특별한 연결 반사를 사용하는 것, 일명 "시스템-2 사고")는 단어 기억을 유용한 행동으로 활용하는 방법입니다. 시냅스 가중치에 내장된 타고난 기술을 실행하는 대신, 단어 기억 데이터를 위한 인터프리터 역할을 하는 하나의 매우 정교한 타고난 기술을 실행하여, 마음속에 담고 있는 단어들을 천천히 그리고 힘들게 더 많은 단어(종합)로, 또는 다른 기억(단어 기억이든 아니든)과의 연관으로, 또는 행동/출력 등으로 바꿉니다.
(이 시스템의 특히 유용한 "요령"은 계획하기입니다. 즉, 인터프리터를 "단순한 단어"들을 통해 연쇄시켜 더 많은 "단순한 단어"를 불러일으키다가 결국 당신이 하려는 일에 대한 선언을 형성하는 단어에 도달하는 것입니다. 그런 다음 연결 반사의 특별한 부분, 즉 "지시 따르기" 반사에 의존하여 […]
- piker
>문제를 생각해 보세요: "1 +2 +3 +⋯ +10은 얼마인가?" 한 가지 해법은 숫자를 하나씩 더하는 것입니다: 1, 3, 6, 10, 그리고 계속해서 55까지. 또 다른 방법은 바깥에서 안으로 짝을 짓는 것입니다: 1 +10, 2 +9, 3 +8, 4 +7 그리고 5 +6은 각각 11이 되고, 11의 다섯 쌍은 55가 됩니다. 이 두 경로 모두 정답 55에 도달합니다.
아들이 어려운 수학 문제를 푸는 것을 지켜보면서 저는 이 깨달음을 얻었습니다. 제 머릿속에는 하나의 "올바른" 경로가 있고, 저는 종종 아들의 사고 연쇄를 방해하지 않으려고 애써야 합니다. 아들은 종종 다른 방식으로 그저 답에 도달하고 있을 뿐입니다.
- vova_hn2
현재 체인-오브-사고 추론을 가중치에 구워 넣는 접근 방식이 끝이 아니라고 확신합니다. 그것은 너무 우연적이고 임시방편적으로 보입니다.
추신: 움직이는 새는 정말 마법 같네요!
- vatsachak
Alex는 transformers as memory 블로그도 있었죠. 아름다워요. 누군가 그에게 돈을 좀 줘야겠네요