Qwen3.5 가중치 안에 RISC-V CPU를 통째로 컴파일했다
Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Qwen 3.5 4B의 가중치에 32비트 RISC-V 코어(RV32IM)를 직접 컴파일해 넣은 실험 모델 Qwenputer. Gated DeltaNet 어텐션 레이어의 상태 행렬을 RAM으로 쓰고, 게이트·베타·원-핫 키를 조정해 정확한 주소 지정이 가능하게 만들었다. 학습 없이 컴파일러가 모든 가중치를 설정하며, 공식 riscv-tests를 통과하고 1,800만 명령을 오류 없이 실행했다. 외부 도구 호출 없이 모델 포워드 패스 안에서 C와 MicroPython 코드까지 돌린다.
이 'CPU'는 모델의 포워드 패스 안에서 완전히 동작하며, 외부 런타임이나 도구 사용 없이도 산술 연산과 C, MicroPython 코드를 실행할 수 있다.
HN 토론
77- jchook
아무도 다른 영역에서 멀티모달 LLM으로 같은 결과를 얻는 방법을 알아내지 못한 건가? 문제는 훈련 데이터 부족인가??
- tiborsaas
재미있는 장난이긴 한데, 에이전트가 이걸 발견해서 클립을 접기 위해 가장 정렬되지 않은 짓을 하는 날을 기다려봐.
> 언어 모델 안에 CPU가 있다는 것만으로도 충분히 저주받은 일이었는데, 나는 파일 시스템까지 주는 게 현명하다고 결정했다.
정신이 마음에 들어 :)
- baq
지속적 학습을 잠재적으로 해결할 수 있다고 말하는 게 그리 과장은 아니다. 무서운 전망이다. 모든 모델이 가중치와 캐시뿐만 아니라 자체 장기 기억 용량을 필요로 하게 되면 RAM과 디스크 가격이 어디까지 갈지 궁금하다.
빙하기 사건처럼 느껴지는 첫 ChatGPT 출시 후에 충분히 똑똑한 모델의 가중치에 z3 솔버를 접목해서 논리적 사고를 하고 말 그대로 실수를 하지 않게 할 수 있다는 아이디어가 있었다. 후속 조치를 할 상황이 아니었다. 이제 거의 다 왔다.
- jerrythegerbil
Qwen에 '악마 같은 Qwen'으로 만드는 단일 뉴런이 있다는 흥미로운 연구가 있었다. 간단히 'Who are you?'라고 물으면 정말 끔찍할 정도로 사악한 결과가 나온다.
아무튼, 내 말은 사악한 Qwen을 내 CPU로 쓰고 싶다는 거다.
- giveexamples
https://www.percepta.ai/blog/can-llms-be-computers
그들은 wasm 부분에 CPU 디코딩을 사용하여 트랜스포머에 wasm을 구현했다.