iPhone 17 Pro에서 실행되는 소형 AI 모델 벤치마크: 어느 것이 가장 똑똑하고 빠른가?
Benchmarking Pocket-Scale Inference
Artificial Analysis가 iPhone 17 Pro에서 실행되는 소형 AI 모델들의 성능을 비교 평가했습니다. BFCL, IFBench, AA-Omniscience, GPQA Diamond, MATH-500 등 5가지 벤치마크를 통해 모델의 지능을 측정하고, 1024토큰 프롬프트 처리 및 256토큰 생성에 걸리는 시간을 측정했습니다. 결과는 모델별로 지능과 속도 간의 상충 관계를 보여주며, 사용자는 자신의 필요에 맞는 모델을 선택할 수 있습니다.
모델이 16K 토큰 한도에 도달하여 생성을 중단한 비율을 나타내는 '컨텍스트 예산 초과'는, 긴 대화나 문서 처리 시 모델의 실용성을 가늠하는 중요한 지표입니다.
HN 토론
18- teo_zero
관련 질문: NPU 성능은 어떤가요? 저는 항상 CPU 대 GPU에 대한 글만 읽는데, 아무도 NPU에 대해 이야기하지 않습니다. llama가 NPU를 지원하는지조차 모르겠습니다.
사용처가 없다면 왜 휴대폰과 노트북에 NPU를 장착하는 걸까요?
- N_Lens
Apple은 소비자 하드웨어에서 RAM을 아껴 왔습니다. RAM 가격은 계속 상승할 것이며, 일부 분석가들은 2030년까지 이어질 것이라고 말합니다. 이는 의미 있는 ML 워크로드를 처리할 충분한 메모리를 갖춘 차세대 휴대폰을 만드는 것을 더 어렵게 만들 것입니다.
저는 현재 칩 경제에 어떤 종류의 반전이 일어나기를 바랍니다. 분산/민주화/프라이빗 컴퓨팅을 좋아하기 때문입니다. 하지만 현재 클라우드 기반 LLM 추론이 훨씬 더 실행 가능해 보입니다. 가까운 미래에 일반 사용 사례에서 로컬 LLM이 의미 있게 실행 가능해질 것 같지는 않습니다.
- hxii
저는 RX6750XT에서 이 수준의 모델들을 개인 벤치마크로 실행해 왔습니다.
저는 도구를 사용할 수 있는 개인 비서 에이전트를 실행할 수 있는 수준에 도달하기를 바라고 있습니다.
결과는 대체로 동일하며, 몇 가지 이상치가 있습니다.
결과는 여기에서 볼 수 있습니다: https://0xff.nu/hexbench/