Si no ejecutas tu propio proxy de LLM, no tienes ni idea de lo que pasa
If you don't run your own LLM proxy, how do you know whats going on?
El autor sostiene que los paneles de analítica de los proveedores de LLM muestran cifras decorativas en lugar de estadísticas de uso útiles para ingenieros. Su propuesta: montar un proxy propio en infraestructura que controles. Así obtienes un único endpoint para varios proveedores y modelos, registros de qué clave llamó a qué modelo, con qué cliente y en qué momento, claves API virtuales y la capacidad de cambiar de modelo sin rehacer todo. Con esos datos, un fallo de caché se diagnostica en segundos.
Puede que nunca llegue a entender del todo cómo funciona un modelo de lenguaje como para dibujarlo en una pizarra durante una entrevista. Pero puedo domarlo y asegurarme de que esté instrumentado mientras sirve inferencia.