Los equipos de plataforma se convierten en equipos de inferencia: la guía abierta para servir modelos propios
An Open Field Guide to Inference Engineering
Cada vez más organizaciones ejecutan sus propios modelos abiertos para controlar latencia, disponibilidad y datos, y a gran volumen pueden recortar costes cerca del 80%. La guía explica qué es un motor de inferencia, cómo se reparten los pesos y la KV cache en la memoria de la GPU, por qué prefill y decode tienen cuellos de botella opuestos, y qué métricas medir: TTFT, tokens por segundo, goodput y coste por millón de tokens. También traza cómo las habilidades de SRE se trasladan a este nuevo rol.
El precio de un nivel fijo de capacidad de IA cae aproximadamente 10 veces al año, y la mayor parte de esa mejora proviene de cómo se sirven los modelos, no de GPUs mejores.
- libraryofbabel
Es un resumen razonable, aunque siento que faltan algunos fundamentos. Me pregunto cuánto sentido tendrá para un ingeniero de plataforma que no tenga ya una comprensión muy sólida de los entresijos de la arquitectura transformer, como el mecanismo de Attention y sus variantes más recientes. No sé si realmente puedes entender estas cosas sin tener en la cabeza una imagen subyacente de los internos del modelo sobre qué es realmente la KV cache y cómo se deriva de los cálculos de atención repetidos sobre un prefijo que crece continuamente, por no hablar de entender optimizaciones de la KV cache como PagedAttention, que dependen en gran medida de los detalles de cómo se calculan los pesos de atención con multiplicaciones de matrices, softmax, etc. Desde luego, yo no habría podido darle sentido a algo como «En lugar de recalcular ese historial, el motor mantiene las claves y valores de atención de cada token en vuelo» sin una comprensión bastante sólida de cómo funciona Attention, que tuve que adquirir de otras fuentes.
Esto también es una carencia del libro por lo demás fantástico de Philip Kiely, Inference Engineering; pasa un poco por alto los detalles de la arquitectura transformer, que necesitas obtener en otro sitio. Los libros de Sebastian Raschka son muy buenos para eso, pero luego tienes que conectarlo todo con cómo hacer una inferencia eficiente, de lo que él no habla tanto.
- randbyte
Parece bastante genérico. Y, para ser honesto, fui capaz de usar un agente para montar a mano un stack de serving en clúster usando vllm, completado con spec decode, reutilización de caché de kernels y arreglando o portando hacia adelante bugs del motor.
- d-ramdass
Esta guía es para ingenieros de plataforma nuevos en la inferencia. Si necesitas entender cómo funcionan juntos los modelos y las GPUs y cómo ejecutar inferencia en producción, esta guía te ayudará. También aprenderás sobre las herramientas que usar y cómo crecer hacia un rol de ingeniería de inferencia. Esta guía fue escrita por los mantenedores del proyecto de sandbox de CNCF de código abierto Modelplane