iPhone 17 Pro: как быстро он генерирует ответы на самом деле
Benchmarking Pocket-Scale Inference
Artificial Analysis протестировала iPhone 17 Pro на наборе из пяти бенчмарков для мобильных устройств (BFCL, IFBench, AA-Omniscience, GPQA Diamond и MATH-500) с контекстом до 16K токенов. Оценки показывают, как модели, работающие локально на устройстве, справляются с реальными задачами: от следования инструкциям до научных рассуждений. Время генерации измеряется от ввода 1024-токенного промпта до выдачи 256-токенного ответа. Результаты демонстрируют, что современные смартфоны способны выполнять сложные модели, но производительность сильно зависит от архитектуры и аппаратного обеспечения.
Примечание: это фундаментально зависит от используемого оборудования и архитектуры модели и не включает влияние многословия модели или её склонности использовать больше или меньше ходов.