iPhone 17 Pro: как быстро он генерирует ответы на самом деле
Benchmarking Pocket-Scale Inference
Artificial Analysis протестировала iPhone 17 Pro на наборе из пяти бенчмарков для мобильных устройств (BFCL, IFBench, AA-Omniscience, GPQA Diamond и MATH-500) с контекстом до 16K токенов. Оценки показывают, как модели, работающие локально на устройстве, справляются с реальными задачами: от следования инструкциям до научных рассуждений. Время генерации измеряется от ввода 1024-токенного промпта до выдачи 256-токенного ответа. Результаты демонстрируют, что современные смартфоны способны выполнять сложные модели, но производительность сильно зависит от архитектуры и аппаратного обеспечения.
Примечание: это фундаментально зависит от используемого оборудования и архитектуры модели и не включает влияние многословия модели или её склонности использовать больше или меньше ходов.
- N_Lens
Apple была скупа на RAM в потребительском железе. Цены на RAM будут продолжать расти, по мнению некоторых аналитиков, до 2030 года, и это затруднит создание телефонов следующего поколения с достаточным объемом памяти для значимых ML-нагрузок.
Надеюсь, что в текущей экономике чипов произойдет какой-то разворот, потому что я люблю распределенные/демократизированные/приватные вычисления, но сейчас облачный инференс LLM кажется гораздо более жизнеспособным. Я не вижу, чтобы локальные LLM были реально жизнеспособны для общего использования в ближайшем будущем.
- TGower
Обратите внимание, что показатель Model Intelligence, показанный здесь, не совпадает с индексом Artificial Analysis Intelligence Index, который они используют для полноразмерных моделей: лучшие модели на этом графике Pocket-Scale имеют оценку 63, но это соответствует всего лишь 11 по обычной шкале.
- teo_zero
Вопрос не по теме: а как насчет производительности NPU? Я всегда читаю про CPU и GPU, но никто не говорит о NPU; я даже не знаю, поддерживает ли llama их.
Зачем телефоны и ноутбуки оснащают NPU, если им нет применения?