Он вайбкодил FPGA, пока тот не начал гонять LLM — и это сработало
Vibecoding an Inference Chip

Автор запустил LLM на FPGA в облаке AWS, почти не трогая код руками: агент в Conductor несколько дней писал C++ и Verilog, прогнал сотни экспериментов и разогнал модель с 6 до 213 токенов в секунду — в 33 раза быстрее первого рабочего варианта. На всё ушло около $10 000 в токенах Claude и OpenAI, а сам автор признаётся, что никогда не писал на Verilog и в основном подбадривал модель.
Честно говоря, я вообще не знаю Verilog. Большинство моих промптов были не особо хитрыми: в основном я говорил что-то вроде «ты сверхразумная модель, пора проявить креативность» и «давай в два раза быстрее, ты справишься».
- itissid
Кто-то упомянул, что FPGA, хоть и потрясающи для создания быстрых специализированных чипов, упираются в проблему производственных мощностей. Кто-то вкратце объяснил мне, что даже если бы можно было сделать FPGA, выполняющую инференс лучше современных GPU, экономически возможно было бы производить их в масштабе. Не могу вспомнить, было ли это связано с технологическими проблемами или просто потому, что производственные мощности полностью заполнены.
- reuben364
За неделю или около того я навайбкодил язык в духе Lean со следующим:
- количественные типы
- DSL в стиле Rust, который транслируется в базовый язык
- бэкенды для C, LLVM, WebAssembly и бэкенд Verilog для подмножества языка
- реализация RISC-V, написанная на подмножестве Verilog, которая запускает Doom на моей Arty FPGA.
- библиотека теории категорий и вещественных чисел
- движок хранения графов с запросами, написанными с использованием profunctor optics
- datalog с egglog в процессе разработки
- движок анализа кода в стиле Joern для C и C# с использованием tree-sitter для парсинга
- фреймворк в стиле React
- плагины для редакторов для моего языка
Всё в разной степени завершённости.
То, что сейчас можно делать, — это безумие. Мой страх — это своего рода эффект амнезии Гелл-Манна, когда мой недостаток экспертизы в этой области заставляет меня упускать серьёзные проблемы с этим. Но хотя бы часть этого должна быть реальной. Я планирую объявить об этом в более официальном качестве, как только развею эти опасения (https://wiz.badlydrawnwizards.com для предварительного просмотра, но сайт отчаянно нуждается в обновлении).
Моё текущее узкое место — это мощности CI. Я превратил каждый свободный компьютер в своём доме в узел Slurm, чтобы запускать больше тестов локально и не тратить драгоценные мощности CI.
- seanjhkwon
Это показывает важность автоматических индикаторов при выдаче ИИ огромных задач. Возможно, даже важнее, чем интеллект модели.
- jluxenberg
Забавный и интересный проект, но потратить $10k+ в токенах на любопытство кажется чрезмерным! Точно не в моём бюджете.
- cpldcpu
Я сделал нечто подобное с Opus 4.5: https://github.com/cpldcpu/smollm.c
Похоже, реализация трансформеров — это новый «hello world» для кодинга с помощью ИИ.