애플, AI 수요 폭증에 Mac mini·Mac Studio 물량 부족으로 '당황'

다운로드한 LLM 가중치로 추론만 돌리는 게 아닌 'AI 수요'도 많다. 나는 자기 대결(self-play) 방식의 강화학습으로 모델을 훈련 중이다. 확장할 때는 vast.ai를 쓸 수 있고 실제로 쓰지만, 실험할 때는 버그를 다 잡을 때까지 로컬에서 돌리는 게 훨씬 빠르고 저렴하다. 새 인스턴스를 프로비저닝하고 관련 체크포인트 등을 복사하는 데만 25분이 걸릴 수 있다. 로컬에서는 그런 게 전혀 없다.

이런 로컬 AI 셋업이 클라우드에 비해 실제로 유용한지 궁금하다. 내가 가진 하드웨어로 뭔가 유용한 걸 얻는 데 꽤 애를 먹었다. 내가 좀 제한적이라는 건 안다(16GB RX 9070). 그래도 기본적인 월 20달러 구독으로 얻는 경험과는 아직 한참 거리가 있는 것 같다. 혹시 팁 있으면 감사하겠다! 로컬 우선으로 하고 싶고, 그렇게 하기 위해 하드웨어를 살 의향도 있다.

초대형 기업도 예상치 못한 제품-시장 적합성을 찾을 수 있다는 게 재미있다 [0]. 이 기사에 따르면, "이 회사는 비즈니스 고객 전담 엔지니어링 팀이나 개발자 관계 담당 직원이 없었고, 엔터프라이즈 AI 전략도 없었다고 한다." 돌이켜 보면 말도 안 되게 들리지만, 사람들이 실제로 무엇을 필요로 하고 무엇에 쓸지에 대한 불확실성은 본질적으로 존재한다고 생각한다. [0] https://pmarchive.com/guide_to_startups_part4.html: "훌륭한 시장, 즉 잠재 고객이 많은 시장에서는 시장이 스타트업에서 제품을 끌어낸다... 제품이 훌륭할 필요는 없다. 기본적으로 작동하기만 하면 된다."

Mac Mini는 AI 붐 이전에도 HTPC 후보로 정말 좋았다. 정말 유용하고 저렴한 모든 것들이 그렇듯, 최신 골드러시를 쫓는 한 무리의 멍청이들이 일반 소비자 손에서 빼앗아 갔다.

지금 무슨 일이 벌어지고 있는 건지, 애플이 AI 모델 구축에서 뒤처졌다는 건가? 지난 2년 동안 MacRumors 사이트 어딘가에서 애플이 기술 경쟁사들보다 뒤처져서 문을 닫는 게 나을 수도 있다는 글을 읽은 것 같다. 나는 항상 애플이 좋은 위치에 있다고 생각했다. 경쟁사들과 달리 재정적 해자(financial moat)가 없는 AI 모델을 만들기 위해 수십억 달러를 태우지 않았기 때문이다. 나는 여전히 애플이 기술 경쟁사들에 비해 좋은 위치에 있다고 생각하며, 새 컴퓨터 중 일부가 기술 리뷰어들의 손에 들어가면 더 많은 것을 알게 될 것이다. 새 컴퓨터는 하드웨어 측면에서 꽤 좋을 것이라고 믿는다. 내가 관심 있는 것은 여러 Mac 컴퓨터를 연결하는 Apple 소프트웨어 지원과, 로컬에서 AI 소프트웨어를 실행하려는 사람들을 지원하기 위해 Apple이 자체적으로 작성했을 수 있는 다른 (새로운?) 소프트웨어인데, 이는 새 하드웨어만큼 중요하다.

Ternus가 지휘봉을 잡으면서 Apple이 iPhone 밖에도 제품이 있다는 것을 다시 기억하기 시작하길 정말 바란다.

그들은 AI 마케팅 포인트는 원하지만 실제로 사람들이 자사 제품에서 로컬 AI를 사용하는 것은 원하지 않는 것 같다. 이유를 모르겠다. 로컬 AI에 적극적으로 투자한다면 엄청나게 성공할 수 있을 텐데.

고가 제품만이 아니다. Neo는 보급형에서 9월 말까지 매진되었는데, 고등학생과 대학생들에게 대박인 것 같다. Apple이 이 돈으로 예전처럼 안정성 릴리스를 해주길 바란다. Family Sharing 같은 것의 버그, 설정 앱의 고통스러운 '업데이트' 등은 모두 많은 사랑이 필요하다.

그런 사람들 대부분은 Q4 변형 모델들이 루프에 빠지는 것을 경험하면 실망할 것이다. 나는 RAM 위기가 끝날 때까지 기다렸다가 미래의 64GB RAM GPU를 사서 Q8 모델을 실행할 것이다. 그때까지는 클라우드 추론을 사용하겠다.