Ein Coding-Agent bringt ein LLM auf einem FPGA zum Laufen – nur mit Vibes und 10.000 Dollar

Vibecoding an Inference Chip

Ein Coding-Agent bringt ein LLM auf einem FPGA zum Laufen – nur mit Vibes und 10.000 Dollar

Ankit Gupta ließ einen Coding-Agenten tagelang auf einer AWS-F2-FPGA-Instanz arbeiten, um ein ternäres LLM-Modell zu implementieren. Ohne eigene Verilog-Kenntnisse erreichte er mit rund 166 Prompts eine 33-fache Beschleunigung von 6 auf 213 Tokens pro Sekunde. Der Agent schrieb etwa 3 Millionen Zeilen C++ und Verilog, führte hunderte Experimente durch und kostete nur 10.000 Dollar an Claude- und OpenAI-Tokens. Ein später eingefügter Experten-Prompt änderte kaum etwas – die entscheidenden Designideen hatte der Agent bereits selbst entwickelt.

Ich weiß ehrlich gesagt nicht das Geringste über Verilog.
  1. itissid

    Jemand erwähnte, dass FPGAs zwar großartig dafür sind, maßgeschneiderte Chips zu bauen, die schnell sind, aber auf ein Fabrikkapazitätsproblem stoßen. Jemand erklärte mir kurz, dass es selbst dann, wenn man ein FPGA bauen könnte, das Inferenz besser als aktuelle GPUs erledigt, wirtschaftlich möglich wäre, sie in großem Maßstab herzustellen. Ich kann mich nicht erinnern, ob das technologische Gründe hatte oder einfach daran lag, dass die Fabrikkapazität völlig ausgelastet ist.

  2. reuben364

    Über die Woche oder so habe ich mit Vibes eine Lean-ähnliche Sprache gecodet mit

    - quantitativen Typen

    - einer Rust-ähnlichen DSL, die in die Basissprache herunterkompiliert

    - einem C-, LLVM-, WebAssembly-Backend und einem Verilog-Backend für eine Teilmenge der Sprache

    - einer RISC-V-Implementierung, geschrieben in der Verilog-Teilmenge, die Doom auf meinem Arty FPGA ausführt.

    - einer Kategorientheorie- und Echtzahl-Bibliothek

    - einer Graph-Speicher-Engine mit Abfragen, die mit Profunktor-Optiken geschrieben sind

    - einem Datalog mit einem Egglog in Arbeit

    - einer Joern-ähnlichen Code-Analyse-Engine für C und C# unter Verwendung von tree-sitter zum Parsen

    - einem React-artigen Framework

    - Editor-Plugins für meine Sprache

    Alles in unterschiedlichen Stadien der Vollständigkeit.

    Was man jetzt machen kann, ist der Wahnsinn. Meine Angst ist eine Art Gell-Mann-Amnesie-Effekt, bei dem mein Mangel an Expertise in dem Bereich dazu führt, dass ich große Probleme damit übersehe. Aber zumindest ein Teil davon muss echt sein. Ich plane, es offizieller anzukündigen, sobald ich diese Bedenken zerstreut habe (https://wiz.badlydrawnwizards.com für einen ersten Blick, aber ich muss dringend die Website aktualisieren)

    Mein aktueller Engpass ist die CI-Kapazität. Ich habe jeden freien Computer in meinem Haushalt in einen Slurm-Knoten verwandelt, damit ich mehr Tests lokal ausführen kann, um wertvolle CI-Kapazität nicht zu verschwenden.

  3. seanjhkwon

    Es zeigt, wie wichtig automatisierte Indikatoren sind, wenn man der KI riesige Aufgaben gibt. Vielleicht wichtiger als die Intelligenz des Modells.

  4. jluxenberg

    Ein lustiges und interessantes Projekt, aber 10.000 $+ an Tokens für eine Spielerei auszugeben, scheint übertrieben! Definitiv außerhalb meines Budgets.

  5. cpldcpu

    Ich habe etwas Ähnliches mit Opus 4.5 gemacht: https://github.com/cpldcpu/smollm.c

    Es scheint, als wäre das Implementieren von Transformern das neue "Hello World" des KI-unterstützten Codens.

Mehr von diesem Tag

2026-11-20