Jevstiller - Jev를 로컬 모델로 증류, 불일치 보장
Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
Jevstiller는 Jev의 답변을 로컬 모델로 증류하여 15ms 만에 응답하는 시스템입니다. 98%의 요청에서 Jev와 동일한 레이블을 반환하도록 보장하며, 통계적 보장을 통해 신뢰성을 제공합니다. 지속적인 재학습과 감사로 드리프트를 감지하고, Jev가 변경되면 자동으로 재시작합니다. GitHub에서 코드를 확인하고 실험을 재현할 수 있습니다.
숫자 하나를 설정하세요, 예를 들어 98%라고요. Jevstiller는 최소 그 비율의 요청에서 Jev가 반환했을 레이블을 반환합니다.
HN 토론
11- gingersnap
로컬 모델이 model2vec와 비슷한 건가요?
- tgluck
글쓴이입니다. 이건 반복되는 Jev 분류 호출 앞에 프록시를 두는 겁니다. 처음에는 모든 요청이 Jev로 가고, Jev의 답변을 바탕으로 동결된 sentence embeddings 위에 작은 head를 학습시킵니다. 그리고 정확한 유한 표본 한계(exact finite-sample bound)로 신뢰도 임계값을 골라서, 전체 요청 중 최대 2%만 Jev가 줬을 법하지 않은 답을 받도록 합니다. 그다음 신뢰할 수 있는 몫은 CPU에서 약 15ms로 로컬에서 답합니다. 영구적인 2% 감사가 계속 확인하고, 일치가 깨지면 모든 게 Jev로 폴백되고 재학습합니다.
알려진 한계: 일치(agreement)는 정확도가 아닙니다(Jev가 틀리면 로컬 모델도 틀립니다). 커버리지는 Jev 자체가 얼마나 일관적인지를 따라갑니다(노이즈 많은 트윗 작업에서는 22%, 뉴스에서는 80%). Jev의 API만 지원하며, OpenAI 호환 프론트는 로드맵에 있습니다. 0.4.0부터는 보장이 "Jev가 확신하지 못했을까"까지 커버할 수 있는데, 이는 코드가 낮은 신뢰도의 답을 리뷰로 보내는 경우 중요합니다. Apache 2.0.