LLM 프록시를 직접 운영하지 않으면 무슨 일이 벌어지는지 어떻게 알겠는가
If you don't run your own LLM proxy, how do you know whats going on?
저자는 LLM을 쓰면서 제공사가 보여주는 귀여운 마스코트 이미지나 조악한 분석 패널로는 아무 판단도 할 수 없다고 지적한다. 직접 통제하는 엔드포인트에서 프록시를 운영하면 여러 제공사와 모델을 한곳에서 다루고, 어떤 키가 어떤 모델을 언제 호출했는지 로그로 확인하며, 가상 API 키로 메인 키를 아끼고, 모델 전환도 빠르게 할 수 있다. 캐시 미스 원인도 20초 만에 짚어낼 수 있다고 강조한다.
나는 대규모 언어 모델이 어떻게 동작하는지 면접에서 화이트보드로 설명할 만큼 완전히 이해하지는 못할지도 모른다. 하지만 나는 그것을 붙잡아 추론을 서빙하는 동안 계측이 제대로 되도록 만들 수 있다.