Apple, sorprendida por la demanda empresarial de Mac mini y Mac Studio para IA

Hay mucha "demanda de IA" que no es solo ejecutar inferencia en un LLM cuyos pesos descargaste. Estoy entrenando un modelo usando aprendizaje por refuerzo con auto-juego. Puedo y uso vast.ai cuando escalo, pero para experimentos es mucho más rápido y barato ejecutarlo localmente hasta que se resuelvan los bugs. Solo aprovisionar una nueva instancia y copiar los checkpoints relevantes y cosas puede llevar 25 minutos. Localmente es cero.

Tengo curiosidad por saber si estas configuraciones de IA local son realmente útiles en comparación con la nube. Me ha costado mucho obtener algo útil del hardware que tengo. Soy consciente de que estoy algo limitado (16GB RX 9070), pero aun así, parece muy lejos de la experiencia que incluso una suscripción básica de $20 al mes me da. ¡Cualquier consejo que alguien pueda tener es bienvenido! Me encantaría ser local primero y estaría dispuesto a comprar hardware para lograrlo.

Es divertido ver que incluso una empresa extremadamente grande puede encontrar un ajuste de producto-mercado inesperado [0]. Según este artículo, "La empresa supuestamente no poseía un equipo de ingeniería dedicado a clientes empresariales ni personal enfocado en relaciones con desarrolladores, y carecía de una estrategia de IA empresarial". Eso suena increíble en retrospectiva, pero creo que hay una incertidumbre inherente sobre lo que la gente realmente necesita y para qué usará las cosas. [0]https://pmarchive.com/guide_to_startups_part4.html: "En un gran mercado—un mercado con muchos clientes potenciales reales—el mercado saca el producto de la startup... El producto no necesita ser excelente; solo tiene que funcionar básicamente."

Los Mac Mini también eran muy buenos candidatos para HTPC antes del boom de la IA. Como todas las cosas genuinamente útiles y asequibles, fueron arrebatados de las manos de los consumidores normales por un montón de idiotas persiguiendo la última fiebre del oro.

¿Qué está pasando? ¿Apple está atrasada en la construcción de modelos de IA? Pensé que había leído eso en algún lugar del sitio MacRumors en los últimos dos años, que Apple está detrás de sus pares tecnológicos y que Apple bien podría cerrar las puertas. Siempre pensé que Apple estaba en una buena posición porque, a diferencia de sus pares, no quemaron miles de millones de dólares tratando de construir un modelo de IA que no tiene foso financiero alrededor. Sigo pensando que están en una buena posición en comparación con sus pares tecnológicos y sabremos aún más cuando algunas de las nuevas computadoras lleguen a manos de algunos de los revisores tecnológicos. Creo que las nuevas computadoras serán bastante buenas en cuanto a hardware; lo que me interesa es el soporte de software de Apple para conectar varias Mac juntas, y algo del otro software (¿nuevo?) que Apple pueda haber escrito internamente para apoyar a aquellos que quieren ejecutar software de IA localmente, que es tan importante como el nuevo hardware.

Realmente espero que con Ternus tomando el timón, Apple empiece a recordar que tiene productos más allá del iPhone.

Tengo la impresión de que quieren puntos de marketing de IA pero en realidad no quieren que la gente use IA local en sus productos. No tengo idea de por qué. Podrían tener tanto éxito si se inclinaran hacia la IA local.

No solo los de gama alta. El Neo está agotado hasta finales de septiembre en el extremo de presupuesto; parece que es un éxito entre los estudiantes de secundaria y universitarios. Espero que Apple pueda tomar todo este dinero y hacer algunos lanzamientos de estabilidad como solían hacer; los bugs en cosas como Family Sharing, la dolorosa "actualización" de la aplicación de Ajustes, etc., podrían necesitar mucho cariño.

La mayoría de esas personas se decepcionarán cuando experimenten las variantes Q4 de esos modelos atascándose en bucles. Yo esperaría a que la crisis de RAM termine para conseguir una futura GPU de 64GB de RAM para ejecutar modelos Q8. Inferencia en la nube hasta entonces.