Litelm：LiteLLM 去肥增肌版
Litelm: LiteLLM Without the Bloat
LiteLLM 虽然功能强大，但代码量超过 10 万行，包含了大量普通用户用不到的代理服务器、缓存层和成本追踪功能。Litelm 项目应运而生，它仅用约 2900 行代码和两个依赖（openai、httpx），就提取了 LiteLLM 最核心的模型路由、消息格式转换、流式响应和工具调用功能。该项目去除了 Router 类、代理服务器和缓存等臃肿组件，支持 OpenAI、Anthropic、Groq 等 19 家提供商，API 接口与 LiteLLM 完全兼容，开发者只需替换导入语句即可无缝切换。目前项目处于 Alpha 阶段，已通过 262 项测试，并验证了与 DSPy 框架的兼容性，为追求轻量级和透明度的开发者提供了更纯粹的选择。
LiteLLM 的核心功能被掩埋在超过 10 万行代码的代理服务器、缓存层、成本追踪以及数十个大多数用户从未使用过的功能之下。
HN 评论区
39- Centigonal
这个项目挺酷的，用 LLM 从开源项目中选择性提取特性的想法也很有意思。
唯一让我有点介意的就是“LiteLLM Without the Bloat”（LiteLLM 去肥增肌版）这个说法。很多被移除的功能（比如成本追踪、流式传输、缓存）……恰恰是 LiteLLM 对许多用户来说的核心价值所在。
- khalic
我强烈建议作者们亲手重写一下 readme。这基本上算是检验一个人对这个项目投入了多少心血的“嗅探测试”。
- clickety_clack
两个依赖项之一 httpx 已经不再维护了。Pydantic 接手了它，改名为 httpx2：https://pydantic.dev/docs/httpx2
- 9dev
有意思，你删掉的那些功能，恰恰是我在我们的平台上部署 LiteLLM 的原因。能够可靠地追踪不同服务中每个客户的 token 消耗量，对我们来说很重要，而 LiteLLM 在这方面做得很好。
- dlojudice
如果能有插件/扩展架构就好了。比如，让我能按自己的意愿，在任何时候以任意方式写入缓存和成本数据。