LiteLLMの核心部分をわずか2,900行に抽出した「litelm」が登場
Litelm: LiteLLM Without the Bloat
litelmは、LiteLLMのルーティングとメッセージ翻訳機能だけを約2,900行・依存2つ（openai、httpx）で再実装した軽量ライブラリ。プロキシやキャッシュ、コスト追跡などの肥大化した機能を排除し、モデルルーティング、ストリーミング、ツール使用、埋め込みをカバー。APIはLiteLLMと互換性があり、インポート名を置換するだけで移行できる。現在はアルファ版で、262のテストが通過している。
litellmのルーティングと翻訳のコアは、プロキシサーバー、キャッシュ層、コスト追跡など、ほとんどのユーザーが触れることのない10万行以上のコードに埋もれている。
HNでの議論
39- Centigonal
これはクールなプロジェクトだし、LLMを使ってオープンソースプロジェクトから選択的に機能を抽出するというアイデアは面白い概念だね。
唯一引っかかるのは「LiteLLM Without the Bloat」というフレーズだ。削除された機能の多く（コスト追跡、ストリーミング、キャッシュなど）は…多くのユーザーにとってLiteLLMの核心的な価値提案のようなものだからね。
- khalic
著者にはreadmeを手書きで書き直すことを強く勧める。これは、このプロジェクトにどれだけの手間をかけたかを測る、一種のスニフテストのようなものだ。
- clickety_clack
2つの依存関係のうちの1つ、httpxはもはや実際にはメンテナンスされていない。Pydanticがhttpx2として引き継いだ：https://pydantic.dev/docs/httpx2
- 9dev
面白いことに、君が削ぎ落としたものすべてが、私がプラットフォームにLiteLLMをデプロイしている理由なんだ。異なるサービス間で顧客ごとのトークン消費を確実に追跡する方法は我々にとって重要で、LiteLLMはこれをうまく処理してくれる。
- dlojudice
プラグイン/拡張機能のインフラがあれば素晴らしいだろう。例えば、キャッシュとコストを好きなように、好きな時に書き込めるようにするとか。