Если вы не запускаете собственный LLM-прокси, откуда вы знаете, что происходит?
If you don't run your own LLM proxy, how do you know whats going on?
Автор утверждает, что встроенная аналитика провайдеров LLM бесполезна для инженеров: вместо временных рядов расхода токенов там показывают милые картинки. Собственный прокси даёт единую точку для нескольких провайдеров и моделей, логи с ключами, клиентами и статусами, виртуальные API-ключи и быструю смену модели без перенастройки. Автор не советует конкретного поставщика, но настаивает: прокси нужно запускать самому и дорабатывать под свои задачи.
Я, возможно, никогда до конца не пойму, как, чёрт возьми, работает большая языковая модель, чтобы нарисовать её на доске на собеседовании. Но я могу её укротить и убедиться, что она инструментирована, пока обслуживает инференс.