LLM에 불리언 회로를 이식하는 방법
Embedding boolean circuits in a neural network
이미 학습된 신경망 옆에 불리언 회로를 붙이는 두 가지 문제를 다룬다. 먼저 AND, OR, NOT을 뉴런의 가중합과 임계값으로 표현하고, 이어서 실수값 뉴런을 불리언 신호로 바꾸는 Probe와 불리언 출력을 다시 실수값 자극으로 되돌리는 Stim을 정의한다. 예로 L3 뉴런을 읽어 L11 뉴런을 밀어내는 방식을 제시하며, 코드 없이 개념 정리로 마무리한다.
어떤 뉴런이 -12.5로 밀면 모델이 수박처럼 행동하게 만든다는 걸 발견했다면, 이 stim을 적절한 시점에 켜지도록 설계된 불리언 회로의 출력으로 연결할 수 있을 것이다.