Los modelos locales responden el 88,7% de las consultas reales sin salir del portátil
Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
Un estudio de arXiv propone la métrica intelligence per watt (IPW), precisión por vatio, para medir la eficiencia de la inferencia local. Evaluando más de 20 modelos pequeños, 8 aceleradores y 1 millón de consultas reales, los autores hallan que los LM locales resuelven el 88,7% de las consultas, que el IPW mejoró 5,3x entre 2023 y 2025 y que los aceleradores locales superan al cloud en al menos 1,4x con modelos idénticos.
Los aceleradores locales logran al menos 1,4x menos IPW que los aceleradores en cloud ejecutando modelos idénticos, lo que revela un margen significativo para la optimización de los aceleradores locales.