iPhone 17 Pro lidera el rendimiento de IA en el bolsillo
Benchmarking Pocket-Scale Inference
Artificial Analysis ha evaluado el rendimiento de la IA en dispositivos móviles, y el iPhone 17 Pro destaca como el más rápido y capaz. Con un tiempo de generación de extremo a extremo de solo 4,7 segundos para procesar un prompt de 1024 tokens y generar 256 tokens, supera a otros teléfonos como el Galaxy S25 Ultra y el Pixel 9 Pro. En inteligencia, alcanza una puntuación media de 54,9 en el conjunto de pruebas móviles, destacando en razonamiento científico y matemáticas.
El iPhone 17 Pro no solo es el más rápido en generar respuestas, sino que también lidera en precisión y razonamiento, estableciendo un nuevo estándar para la IA en el bolsillo.
- N_Lens
Apple ha sido tacaña con la RAM en el hardware de consumo. Los precios de la RAM seguirán subiendo, algunos analistas dicen que hasta 2030, y esto hará más difícil construir teléfonos de próxima generación con suficiente memoria para cargas de trabajo de ML significativas.
Espero que haya algún tipo de inversión en la economía actual de los chips, porque me encanta la computación distribuida/democratizada/privada, pero actualmente la inferencia de LLM basada en la nube parece mucho más viable. No veo que los LLM locales sean realmente viables para el caso de uso general en un futuro cercano.
- TGower
Nótese que la puntuación de Model Intelligence que se muestra aquí no es la misma que el Artificial Analysis Intelligence Index que usan para los modelos de tamaño completo; los mejores modelos en esta gráfica Pocket-Scale tienen una puntuación de 63, pero eso se traduce en solo un 11 en la escala normal.
- hxii
He estado ejecutando este nivel de modelos a través de un benchmark personal en una RX6750XT.
Espero llegar al punto de poder ejecutar un agente asistente personal con herramientas a su disposición.
Los resultados son en gran medida los mismos, con algunos valores atípicos.
Los resultados se pueden ver aquí: https://0xff.nu/hexbench/