FPGA에 LLM을 올린 바이브코딩, 33배 빨라지다

Vibecoding an Inference Chip

FPGA에 LLM을 올린 바이브코딩, 33배 빨라지다

저자는 AWS F2 FPGA 인스턴스에서 코딩 에이전트를 활용해 LLM 추론을 구현했다. 3백만 줄의 C++과 Verilog 코드를 생성하고 3천만 줄의 출력을 분석하며 수백 번의 실험을 거쳐, 초기 대비 33배 빠른 초당 213 토큰 속도를 달성했다. Claude와 OpenAI 토큰 비용은 1만 달러에 불과했다. Verilog 경험이 전무한 저자는 대부분 '더 창의적으로', '2배 빠르게' 같은 단순한 프롬프트로 에이전트를 이끌었다.

솔직히 Verilog는 첫 글자도 모른다. 내 프롬프트 대부분은 그다지 영리하지 않았다. '넌 초지능 모델이니까 더 창의적으로 해봐', '2배 빠르게 가자, 넌 할 수 있어' 같은 말이 전부였다.
  1. itissid

    누군가 FPGA가 빠른 맞춤형 칩을 만드는 데는 놀랍지만 팹 용량 문제에 부딪힌다고 언급했습니다. 누군가 제게 간단히 설명해주기를, 현재 GPU보다 추론을 더 잘할 수 있는 FPGA를 만들 수 있더라도 규모 있게 생산하는 것이 경제적으로 가능한지에 대한 것이었습니다. 그것이 기술 관련 문제 때문이었는지 아니면 단지 팹 용량이 완전히 꽉 차서인지는 기억나지 않습니다.

  2. reuben364

    지난 일주일 정도 동안 나는 Lean 같은 언어를 바이브 코딩했다:

    - 양적 타입

    - 기본 언어로 낮추는 Rust스러운 DSL

    - C, LLVM, WebAssembly 백엔드와 언어의 부분집합을 위한 Verilog 백엔드

    - 내 Arty FPGA에서 Doom을 실행하는 Verilog 부분집합으로 작성된 RISC-V 구현

    - 범주론 및 실수 라이브러리

    - profunctor optics를 사용해 쿼리를 작성하는 그래프 저장 엔진

    - egglog가 진행 중인 datalog

    - tree-sitter로 파싱하는 C 및 C#용 Joern 같은 코드 분석 엔진

    - React 스타일 프레임워크

    - 내 언어용 에디터 플러그인

    모두 다양한 완성도 단계에 있다.

    지금 할 수 있는 일은 정말 미쳤다. 내 두려움은 일종의 Gell-Mann Amnesia 효과로, 이 분야에 대한 내 전문성 부족 때문에 그것의 주요 문제점들을 놓치고 있는 게 아닐까 하는 것이다. 하지만 적어도 일부는 진짜일 수밖에 없다. 그런 우려들을 불식시키면 더 공식적으로 발표할 계획이다(https://wiz.badlydrawnwizards.com 에서 살짝 엿볼 수 있지만, 웹사이트를 업데이트해야 할 필요가 절실하다).

    현재 내 병목은 CI 용량이다. 소중한 CI 용량을 낭비하지 않기 위해 로컬에서 더 많은 테스트를 실행할 수 있도록 집안의 모든 여분 컴퓨터를 Slurm 노드로 바꿨다.

  3. seanjhkwon

    AI에게 거대한 작업을 줄 때 자동화된 지표가 얼마나 중요한지 보여준다. 어쩌면 모델의 지능보다 더 중요할지도.

  4. jluxenberg

    재미있고 흥미로운 프로젝트지만, 호기심에 토큰으로 1만 달러 이상을 쓰는 것은 과한 것 같다! 확실히 내 예산 밖이다.

  5. cpldcpu

    나는 Opus 4.5로 비슷한 것을 했다: https://github.com/cpldcpu/smollm.c

    트랜스포머를 구현하는 것이 AI 지원 코딩의 새로운 "hello world"가 된 것 같다.

이 날의 다른 글

2026-11-20