Un LLM de frontera tardó días en optimizar kernels que un experto resuelve en horas

A primer on GPUs and kernel optimization

El autor relata cómo, tras diez meses construyendo un framework de reinforcement learning con LLMs, documenta lo aprendido sobre GPUs y optimización de kernels. El texto repasa la jerarquía de memoria (HBM, registros, memoria compartida, cachés), warps, SMs y ocupación, y luego aplica esas ideas a la inferencia de modelos de lenguaje. También describe su flujo reciente para desarrollar kernels con LLMs, que en varios casos lucharon durante horas o días con tareas que un especialista resolvería mucho antes.