Perplexity, LLM을 범용 분류기로 바꾼 Decider v1.3 공개
Perplexity Decider v1.3: Training, eval, and use cases
Perplexity가 결정 모델 Decider v1.3과 경량판 Decider Flash v1.3을 Apache 라이선스로 공개했다. 입력 하나에 여러 질문을 던져 확률 분포로 답하는 구조로, 판정·라우팅·검열·재순위화에 쓰인다. 양방향 어텐션과 정제된 학습 레시피로 성능과 안정성을 높였고, 지정된 텍스트를 추출하는 locate 기능을 새로 추가했다. Qwen 기반 대형 모델을 KL 증류로 소형 모델에 옮겼으며, 200개가 넘는 내부 과제로 제로샷 평가를 진행했다.
우리는 증류가 비정답 대안에 대한 확신까지 포함한 교사의 출력 분포를 더 잘 전달하는 반면, cross-entropy는 벤치마크 특화 학습 분포에 과적합하도록 부추긴다고 추정한다.
HN 토론
21- 0o777
이 블로그 글은 흥미로운 것들로 이어지는 토끼굴이 되었네요:
https://www.perplexity.ai/hub/blog/pii-trace-detecting-perso...
https://www.perplexity.ai/hub/blog/a-local-first-agent-for-p...
- waximabbax
축하드립니다.
여기 몇 가지 생각(사실이 아님)을 적어봅니다:
AA Decision Index에 대해서.
Decider v1.3과 Decider v1.2는 벤치마크가 동일해 보입니다. 하지만 V1.3 flash는 V1.2 flash보다 4점 앞섭니다.
저는 결정 모델에 flash 버전을 두는 이런 패턴/트렌드가 별로 반갑지 않습니다. 결정 모델의 요점은 추론 모델보다 훨씬 저렴한 비용으로 대량 요청에 더 빠른 출력을 제공하는 것이었습니다. 대부분의 추론 모델은 이미 정확도에서 결정 모델을 능가할 수 있고 아마 능가할 텐데, 다만 훨씬 느리고 비쌉니다. 추론 모델도 이미 구조화된 출력을 반환할 수 있습니다.
따라서 플래그십 모델은 가장 빠르고 가장 정확해야 합니다.
이미지와 텍스트 외에 다른 형태의 입력을 처리할 수 있는 게 아니라면, 같은 모델에 플래그십과 flash 버전을 둘 다 두는 이유를 모르겠습니다.
- nchmy
이 글 덕분에 다양한 decider와 다른 모델들을 발견하고 파고들었습니다. Decider 1.3의 "locate" 메커니즘은 Cloudflare의 Clairic과 ScaleDown의 Extract에 상응하는 것이 있는 것 같습니다. 제 사용 사례에는 scaledown이 특히 인상적이었습니다. 다른 것들보다 훨씬 저렴하고 정확합니다.