Laminar, 에이전트의 조용한 실패를 잡아내는 모델을 학습시키다

Launch HN: Laminar (YC S24) – We trained a model to catch silent agent failures

Laminar는 AI 에이전트 관측성 오픈소스 도구를 만들던 팀이 이번에 RL로 학습한 모델 flow-1을 공개했다. 모든 호출이 성공한 것처럼 보여도 잘못된 버튼을 누르거나 엉뚱한 문서를 인용하는 '조용한 실패'를 잡아내는 것이 목표다. 벤치마크에서 GPT-6-sol과 탐지 품질은 비슷하면서 비용은 23배 저렴해, 샘플링 없이 모든 프로덕션 trace를 분석할 수 있다. 유사한 이벤트를 클러스터로 묶어 반복되는 문제를 파악하고, 이를 eval 데이터셋으로 만들어 수정 전에 검증하는 순환 구조를 제시한다.