LiteLLM의 핵심만 뽑아 2,900줄로 재구현한 litelm

Litelm: LiteLLM Without the Bloat

▲ 113kennethwolters39 HN 토론

litelm은 LiteLLM의 모델 라우팅과 메시지 변환 기능만 추출해 약 2,900줄, 의존성 2개(openai, httpx)로 재구현한 Python 라이브러리다. 프록시 서버, 캐싱, 비용 추적 등 부가 기능은 모두 제거했지만, 기존 LiteLLM과 동일한 함수명과 인자를 제공해 import만 바꾸면 바로 사용할 수 있다. 19개 프로바이더를 지원하며, DSPy 드롭인 호환성도 검증됐다.

litellm routes LLM calls across providers and translates between message formats. That core is buried under 100k+ LOC of proxy servers, caching layers, cost tracking, and dozens of features most users never touch.
원문 읽기 →HN 토론RSS

HN 토론

39
  1. Centigonal

    이거 멋진 프로젝트네요, LLM을 사용해서 오픈소스 프로젝트에서 선택적으로 기능을 추출한다는 아이디어도 흥미로운 개념이고요.

    유일하게 걸리는 부분은 "LiteLLM Without the Bloat"라는 표현이에요. 제거된 기능들 중 상당수(비용 추적, 스트리밍, 캐싱 같은)는... 많은 LiteLLM 사용자들에게 사실상 핵심 가치 제안이거든요.

  2. khalic

    작성자들이 readme를 직접 손으로 다시 쓰는 걸 강력히 추천합니다. 이건 프로젝트에 얼마나 정성을 쏟았는지 가늠하는 일종의 냄새 테스트 같은 거니까요.

  3. clickety_clack

    두 의존성 중 하나인 httpx는 이제 사실상 유지보수가 안 되고 있어요. Pydantic이 httpx2로 가져갔습니다: https://pydantic.dev/docs/httpx2

  4. 9dev

    웃기네요, 당신이 잘라낸 모든 것들이 바로 제가 우리 플랫폼에 LiteLLM을 배포하는 이유인데요. 여러 서비스에 걸쳐 고객별 토큰 지출을 안정적으로 추적할 수 있다는 게 우리에게 중요하고, LiteLLM은 이걸 잘 처리해줍니다

  5. dlojudice

    플러그인/확장 인프라가 있으면 정말 좋겠어요. 예를 들어, 캐시와 비용을 내가 원하는 방식으로 원하는 시점에 기록할 수 있게요

이 날의 다른 글

2026-09-11