360M 파라미터 모델이 진짜 터미널 없이 터미널을 흉내 낸다
WorldTUI: I trained a 360M model to pretend to be a terminal
Qwen2.5-Coder-0.5B를 Docker에서 녹화한 터미널 세션으로 파인튜닝해, 셸이나 파일시스템 없이 키 입력만으로 화면 변화를 예측하는 모델을 만들었다. vim, tmux, snake까지 동작하며, 자기 실수를 수정하는 훈련과 화면 행 병렬 디코딩으로 대형 화면 지연을 6.7초에서 0.87초로 줄였다. 75 GPU시간이 소요됐고, 메모리 테스트에서 13개 중 9개를 정확히 읽어냈다.
내가 진짜 알고 싶었던 것은 모델이 일관된 세계를 유지할 수 있는지, 아니면 그럴듯한 터미널 출력을 생성하는 것뿐인지였다.
HN 토론
143- nico
정말 정말 멋지네요! 단지 파인튜닝만으로 이걸 해낼 수 있다는 게 인상적입니다.
아주 비슷한 주제로, 저는 최근에 "손실 있는 git(lossy git)"을 만들었는데, 이는 신경망을 훈련시켜 코드를 저장한 다음 체크아웃할 때 코드를 다시 생성해 줍니다.
* 웹 데모: https://nicobrenner.github.io/lossy-git/demo.html
* CLI 버전: https://nicobrenner.github.io/lossy-git/
웹 데모는 버전 관리와 신경망 훈련/추론 모두 전적으로 브라우저에서 실행됩니다. 이미지나 코드를 커밋하고 체크아웃할 수 있으며, 직접 이미지를 붙여넣거나 "업로드"할 수도 있습니다. 서버 요청은 없습니다(새로고침하면 페이지에서 모든 것이 지워집니다).
- dpflan
약 3년 전의 이 게시물이 생각나네요: https://news.ycombinator.com/item?id=33847479
"ChatGPT 안에 가상 머신 구축하기"
- https://www.engraved.blog/building-a-virtual-machine-inside/
"관련 연구" 섹션에도 언급되어 있습니다.
- saagarjha
> 유용한가요? 별로요.
흥미롭게도 Anthropic은 정렬 평가에 이런 종류의 모델을 사용해 왔습니다: https://alignment.anthropic.com/2026/reward-seeker/#:~:text=...
- _bobm
매일 속도를 따라가려고 뇌를 태우고 있지만, 솔직히 말해서, 제발 그만 좀 하세요. 그 사람 좀 쉬게 해주세요.
지금은 제 성인 인생에서 가장 마법 같은 시기입니다. 70년대, 80년대, 90년대는 현재의 속도에 비하면 그림처럼 보입니다. 저는 말 그대로 매일 하루가 끝나면 지칩니다. 완전히 녹초가 됩니다.
OP 정말 잘하셨어요. 정말이지. 이건 미쳤어요.
- sehw
돈은 얼마나 들었나요?
- Meleagris
생각보다 훨씬 유용합니다. 이런 걸 고상호작용 허니팟을 구동하는 데 사용하는 것을 고려해 보세요.
- andai
>Qwen2.5-Coder-0.5B를 시작점으로 사용했습니다. 실시간에 가까운 성능을 얻으려면 작은 모델이 필요했습니다. 코딩 모델이다 보니 CLI 사용법도 이미 많이 접해 있었습니다.
흥미롭네요. 그 모델이 파인튜닝된 버전과 어떻게 비교되는지 여쭤보고 싶었는데, 방금 작성자가 벤치마크를 제공한 걸 봤습니다. 파인튜닝이 메모리를 그렇게까지 크게 향상시켰다니 흥미롭네요. 예상하지 못했던 일입니다.
하지만 다시 생각해 보니, 저는 인간으로서 이전에 가능하다고 생각했던 것 이상으로 기억력을 파인튜닝할 수 있었던 경험이 있습니다!
제가 가장 좋아하는 농담 중 하나가 생각나네요.
실례합니다, 카네기 홀에 어떻게 가는지 알려주실 수 있나요?
—연습이요, 아저씨... 연습이요...
- ponyous
제가 본 ChatGPT의 가장 멋진 초기 데모 중 하나는 작성자가 AI에게 "터미널인 척 해봐"라고 프롬프트한 게시물이었습니다. 그런 다음 `cd .fbi`, `ls files`, `cat files/confidential.txt` 같은 명령을 실행했습니다. 아주 재미있는 데모였죠. 이 터미널로 비슷한 아이디어를 탐구해 보고 싶네요.