Strot - LLM-Intent einmal kompilieren, Entscheidungen lokal ausführen
Show HN: Strot – Compile an LLM's intent once, run decisions locally forever
Strot ist ein Open-Source-Entscheidungskompiler, der die Absicht eines LLM einmalig in ein eingefrorenes, selbstenthaltendes Python-Artefakt übersetzt. Danach werden Klassifizierung, Scoring und Routing lokal auf eigener Hardware mit null Grenzkosten und ohne LLM-Aufrufe pro Datensatz ausgeführt. Die Ergebnisse sind typisierte JSON-Entscheidungen mit Wahrscheinlichkeiten und Konfidenz; unsichere Datensätze werden abstinent statt geraten. Mit messbaren Verbesserungen wie +18 Prozentpunkten bei Routing-Genauigkeit und ~60 ms Latenz pro Datensatz bietet Strot eine deterministische, modellunabhängige Alternative zu gehosteten Entscheidungs-APIs.
Kompiliere deine Absicht einmal mit einem LLM. Entscheide dann für immer über jeden Datensatz – Klassifizierung, Scoring, Routing – als typisierte JSON mit Wahrscheinlichkeiten und Konfidenz, auf deiner eigenen Hardware, zu null Grenzkosten.