Litelm: маршрутизация LLM в 2900 строк вместо 100 000
Litelm: LiteLLM Without the Bloat
Разработчик извлёк ядро LiteLLM — маршрутизацию запросов между провайдерами и перевод форматов сообщений — в пакет litelm на 2900 строк с двумя зависимостями. Он поддерживает стриминг, вызов инструментов и эмбеддинги, но отказывается от прокси, кэширования и учёта расходов. API совместим с LiteLLM: смена сводится к замене импорта. Проект в статусе alpha, покрыт 262 тестами и проверен на 19 провайдерах.
litelm — это программное обеспечение, направляемое человеком и созданное при содействии AI. Большая часть кода была написана с помощью Claude Code на моделях Claude Opus 4.6/4.7.
- Centigonal
Это классный проект, и идея использовать LLM для выборочного извлечения фич из open source проектов — интересная концепция.
Единственное, с чем я не согласен, — это фраза «LiteLLM Without the Bloat». Многие из удалённых фич (например, отслеживание затрат, стриминг, кэширование) — это... вообще-то основная ценность LiteLLM для многих их пользователей.
- khalic
Настоятельно рекомендую авторам переписать readme вручную. Это своего рода тест на то, сколько заботы человек вложил в проект.
- clickety_clack
Одна из двух зависимостей, httpx, уже толком не поддерживается. Pydantic подхватил её как httpx2: https://pydantic.dev/docs/httpx2
- 9dev
Забавно, всё, что вы вырезали, — это как раз причина, по которой я разворачиваю LiteLLM на нашей платформе. Надёжный способ отслеживать расход токенов на каждого клиента across different services важен для нас, и LiteLLM хорошо с этим справляется
- dlojudice
Было бы здорово, если бы существовала инфраструктура плагинов/расширений. Например, чтобы писать кэш и затраты как угодно и когда угодно мне вздумается