Infinite-Parameter LLM, 실시간 데이터로 가중치를 생성하다
Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
MoE에서 착안한 Infinite-Parameter LLM은 런타임 데이터를 하이퍼네트워크로 저랭크 변조해 피드포워드 가중치를 생성한다. 기존 생성기가 컨텍스트를 한 번 읽고 고정하는 것과 달리, 생성기 잠재 코드에 대한 베이지안 신념을 온라인으로 갱신해 세션 내내 가중치를 재도출한다. 저장 공간은 고정되지만 컴파일 가능한 가중치는 사실상 무한하다. 런타임 지식을 프롬프트 대신 가중치에 담아 연산을 상각하고, 컨텍스트 윈도우를 확보하며, 턴 간 지속과 일반화를 노린다.
저장 공간은 고정되어 있지만, 모델이 컴파일할 수 있는 가중치는 사실상 무한하다.