Apple, 사용자 개인 데이터 없이 3세대 AI 모델 공개
Apple wants to train AI on your private personal data
Apple이 Google과 협력해 5종의 3세대 Apple Foundation Models를 발표했다. 온디바이스 모델 AFM 3 Core Advanced는 200억 파라미터 희소 아키텍처로 10억~40억 개만 활성화해 플래시 메모리에서 구동한다. 서버 모델은 Private Cloud Compute에서 실행되며 사용자 데이터를 저장하거나 공유하지 않는다. 회사는 사용자 개인 데이터나 상호작용을 학습에 사용하지 않는다고 강조했다.
우리는 사용자의 사생활 개인 데이터나 사용자 상호작용을 기반 모델 학습에 사용하지 않습니다.
HN 토론
19- EAtmULFO
또 바뀐 건가요?
"우리는 기반 모델을 훈련할 때 사용자의 개인 데이터나 사용자 상호작용을 사용하지 않습니다. 또한 웹 퍼블리셔가 기반 모델 훈련에서 제외될 권리를 존중합니다."
- MattDamonSpace
기사를 읽어보니 제목이 오해의 소지가 있거나 아예 틀린 것 같네요.
- nojs
아키텍처에 관해서:
> 전체 모델을 DRAM에 강제로 넣는 대신, 전체 모델을 플래시 메모리(NAND)에 저장합니다. 표준 MoE 모델이 요구하는 것처럼 토큰별로 가중치를 스왑하기에는 NAND에서 DRAM으로의 대역폭이 너무 느리기 때문에, AFM 3 Core Advanced는 프롬프트 단위로 라우팅 결정을 내립니다. 가벼운 dense 블록이 초기 처리 중에 고정된 전문가 집합을 선택하고, 생성 중에 주기적으로 재선택합니다. 데이터 이동을 최소화하기 위해 이 모델은 항상 활성화되는 '공유 전문가'의 높은 비율과 필요할 때만 DRAM으로 스왑되는 입력 의존적 '라우팅 전문가'에 의존합니다.
이것은 MoE와 완전히 별개의 도메인 특화 모델을 관리하는 것 사이의 흥미로운 하이브리드입니다. 전문가를 한 번 선택하고 메모리로 가져와서 추론을 일정 기간 실행한 후 재평가합니다. 모든 전문가를 메모리에 올리는 것을 피할 수 있지만, 쿼리마다 전체 모델을 선택하는 것보다 낫습니다. 왜냐하면 흥미로운 방식으로 겹치고 결합되는 작고 불투명한 전문가가 많기 때문입니다.
이렇게 하면 품질이 크게 떨어질 가능성이 높지만, 모델 크기를 무한히 확장할 수 있다는 점에서 흥미롭습니다.