Strot - LLM 의도를 한 번 컴파일해 로컬에서 영구 실행
Show HN: Strot – Compile an LLM's intent once, run decisions locally forever
Strot은 LLM을 단 한 번만 사용해 의도를 컴파일하고, 이후에는 로컬 하드웨어에서 결정을 내리는 오픈소스 결정 컴파일러입니다. 분류, 스코어링, 라우팅 같은 작업을 타입-세이프한 JSON으로 처리하며, 확률과 신뢰도를 함께 제공합니다. 컴파일된 아티팩트는 고정된 Python 코드로, 레코드당 약 60ms의 지연과 제로 한계 비용으로 동작합니다. 신뢰도가 낮은 레코드는 추측 대신 보류(abstain)하며, 구조적 환각이 0%입니다. pip install strot-ai로 설치하고, run() 또는 decide() API로 바로 사용해 보세요.
의도를 LLM으로 한 번 컴파일하면, 이후에는 모든 레코드에 대해 영원히 로컬에서 결정을 내릴 수 있습니다 — 제로 한계 비용으로.