Un agente de código convirtió una FPGA en un chip de inferencia y multiplicó por 33 la velocidad de un LLM
Vibecoding an Inference Chip

El autor puso a un agente de código a programar una FPGA en AWS para ejecutar un LLM con pesos ternarios, sin saber Verilog y sin tocar C++ en una década. En pocos días de prompts mayormente vagos, el agente escribió unos 3 millones de líneas, probó cientos de experimentos y pasó de 6 a 213 tokens por segundo, con un gasto de 10.000 dólares en tokens de Claude y OpenAI.
La mayoría de mis prompts no eran especialmente ingeniosos: consistían sobre todo en cosas como «eres un modelo superinteligente, es hora de ser más creativo» y «vamos por 2x más rápido, tú puedes».
- itissid
Alguien mencionó que las FPGA, aunque son increíbles para crear chips personalizados que son rápidos, se topan con un problema de capacidad de fabricación. Alguien me explicó brevemente que incluso si pudieras hacer una FPGA que hiciera inferencia mejor que las GPU actuales, era económicamente posible fabricarlas a escala. No recuerdo si eso era por cuestiones relacionadas con la tecnología o simplemente porque la capacidad de fabricación está completamente copada.
- reuben364
Durante la semana más o menos he vibe codeado un lenguaje tipo Lean con
- tipos cuantitativos
- un DSL estilo Rust que se traduce al lenguaje base
- un backend de C, LLVM, WebAssembly y un backend de Verilog para un subconjunto del lenguaje
- una implementación de RISC-V escrita en el subconjunto de Verilog que corre Doom en mi FPGA Arty.
- una biblioteca de teoría de categorías y números reales
- un motor de almacenamiento de grafos con consultas escritas usando ópticas de profunctor
- un datalog con un egglog en progreso
- un motor de análisis de código tipo Joern para C y C# usando tree-sitter para parsear
- un framework estilo React
- plugins de editor para mi lenguaje
Todo en distintas etapas de completitud.
Lo que puedes hacer ahora es una locura. Mi miedo es una especie de efecto Gell-Mann Amnesia donde mi falta de experiencia en el área me está haciendo pasar por alto problemas importantes. Pero al menos alguna parte tiene que ser real. Planeo anunciarlo de manera más oficial una vez que haya disipado esas preocupaciones (https://wiz.badlydrawnwizards.com para un adelanto, pero necesito actualizar el sitio web con urgencia)
Mi cuello de botella actual es la capacidad de CI. He convertido cada computadora de repuesto en mi hogar en un nodo de Slurm para poder ejecutar más pruebas localmente y evitar desperdiciar la preciada capacidad de CI.
- seanjhkwon
Muestra la importancia de los indicadores automatizados cuando se dan tareas enormes a la IA. Quizás más importante que la inteligencia del modelo.
- jluxenberg
Un proyecto divertido e interesante, pero gastar más de $10k en tokens en una curiosidad parece excesivo. Definitivamente fuera de mi presupuesto.
- cpldcpu
Hice algo parecido con Opus 4.5: https://github.com/cpldcpu/smollm.c
Parece que implementar transformers es el nuevo "hello world" de la codificación asistida por IA.