Apple presenta su tercera generación de modelos fundacionales con privacidad como bandera
Apple wants to train AI on your private personal data
Apple ha presentado su tercera generación de Apple Foundation Models, una familia de cinco modelos desarrollados con Google que abarcan desde el dispositivo hasta Private Cloud Compute. Destacan AFM 3 Core Advanced, un modelo multimodal de 20.000 millones de parámetros con arquitectura dispersa que activa solo entre 1 y 4 mil millones, y AFM 3 Cloud Pro, que se ejecuta en GPUs de NVIDIA en Google Cloud. La compañía asegura que no utiliza datos personales privados de los usuarios para entrenar estos modelos.
No utilizamos los datos personales privados ni las interacciones de nuestros usuarios al entrenar nuestros modelos fundacionales.
- EAtmULFO
¿Cambiado otra vez?
"No utilizamos los datos personales privados de nuestros usuarios ni sus interacciones al entrenar nuestros modelos fundacionales. También respetamos el derecho de los editores web a optar por no participar en el entrenamiento de modelos fundacionales."
- MattDamonSpace
El título parece engañoso, si no directamente erróneo, después de haber leído el artículo.
- nojs
Sobre la arquitectura:
> En lugar de forzar todo el modelo en DRAM, el modelo completo se almacena en memoria flash (NAND). Debido a que el ancho de banda de NAND a DRAM es demasiado lento para intercambiar pesos token a token, como requieren los modelos MoE estándar, AFM 3 Core Advanced toma decisiones de enrutamiento por prompt. Un bloque denso y ligero selecciona un conjunto fijo de expertos durante el procesamiento inicial, y los vuelve a seleccionar periódicamente durante la generación. Para minimizar el movimiento de datos, el modelo se apoya en un alto porcentaje de "expertos compartidos" siempre activos junto con "expertos enrutados" dependientes de la entrada que se intercambian a DRAM solo cuando es necesario.
Esto es un híbrido interesante entre MoE y gestionar modelos específicos de dominio completamente separados. Selecciona los expertos una vez, llévalos a memoria y ejecuta la inferencia durante un período de tiempo antes de reevaluar. Ahorra tener todos los expertos en memoria, pero es mejor que simplemente seleccionar un modelo completo por consulta, ya que tienes un alto número de pequeños expertos opacos que se superponen y combinan de maneras interesantes.
Probablemente haya un enorme impacto en la calidad al hacer esto, pero es interesante porque permite un escalado infinito del tamaño del modelo.