LLM의 영혼을 들여다보는 X-ray 기계, TinyGPT Visualizer
Tools for exploring the souls of large language models
Anthropic이 종교·철학 학자들과 Claude의 영혼을 논의한 시대에, 한 개발자가 LLM 내부를 직접 관찰할 도구를 만들었다. TinyGPT Visualizer는 화면에 담을 수 있을 만큼 작지만 실제로 동작하는 모델의 숫자 행렬을 열어 보여준다. 인간의 뇌와 달리 환자를 죽이지 않고도 사고가 형성되는 순간을 들여다볼 수 있다는 발상이다. 오픈소스로 공개됐다.
인간의 뇌와 달리, 우리는 환자를 죽이지 않고도 사고가 형성되는 동안 멈춰 서서 그 숫자들을 들여다볼 수 있으며, 인간의 뇌와 달리 그 숫자들 속에서 모델이 잘 짜인 산문과 코드, 음악, 영상으로 내놓는 결과를 설명하는 패턴과 알고리즘을 찾아낼 수도 있다.
- r00tanon
모델이 어떻게 예측에 도달하는지 이해하려는 필요성과 기계적 해석가능성(mechanistic interpretability)의 기법들은 배우고자 하는 의지가 있는 사람이라면 누구나 손에 닿을 수 있는 것이다.
- annoyingnoob
영혼이라는 개념 자체가 허구이며, 우리가 만들어낸 것이다. 거북이가 끝없이 이어지면 결코 맨 밑의 거북이를 찾을 수 없다.