OpenRouter로 AI 모델을 쓰기 전에 꼭 알아야 할 함정 10가지
So you want to use OpenRouter?
iMessage AI 어시스턴트 Olly를 운영하며 OpenRouter로 1,800만 건 이상의 메시지를 처리한 저자가, 같은 모델이라도 제공자에 따라 성능이 크게 달라지는 문제를 정리한다. DeepSeek V4 Flash의 경우 TAU 벤치마크에서 81%와 58%로 20점 이상 차이가 나고, 일부 제공자는 이미지 입력을 지원하지 않으면서도 200 OK를 반환한다. reasoning.effort 설정 무시, 양자화 필터의 무의미함, 도구 호출 파싱 실패, 빈 응답 등 실전 함정을 다룬다.
같은 가중치를 서빙하는 제공자들 사이에서도 도구 호출 점수가 20점씩 차이 나는 것은 노이즈가 아니다.
- bsaul
정말 끔찍해 보이네요. 대안은 뭐가 있나요??
- joelthelion
훌륭한 글이네요, 기사 감사합니다. OpenRouter나 비슷한 서비스를 진지하게 쓰는 사람이라면 누구에게나 매우 관련 있는 내용입니다.
우리가 정말로 LLM 제공자들을 신뢰할 수 있게 되기까지는 아직 갈 길이 멀다고 느껴요.
- jwrallie
데이터를 수집하는 제공자들을 피하려고 설정할 때 이상한 동작을 발견했는데, 그래서 기본 제공자들을 차단하게 됐어요. 잘 검증된 제공자들을 걸러내는 건 확실히 가치가 있는 일이고, OpenRouter가 제공하는 기능이기도 하죠.