iPhone 17 Pro: KI-Inferenz in der Hosentasche
Benchmarking Pocket-Scale Inference
Artificial Analysis hat die KI-Leistung moderner Smartphones mit einem neuen Benchmark-Set gemessen. Das iPhone 17 Pro führt das Feld an und liefert die schnellste End-to-End-Generierung bei gleichzeitig hoher Intelligenz. Die Auswertung umfasst fünf realistische Aufgaben, von Tool Calling bis zu wissenschaftlichem Denken, und zeigt, wie weit Mobile-KI inzwischen ist.
Die Gesamtzeit, um einen 1.024-Token-Prompt zu verarbeiten und eine 256-Token-Antwort zu generieren, ist grundlegend für die verwendete Hardware und die Architektur des Modells.
- N_Lens
Apple war bei RAM in Consumer-Hardware schon immer knauserig. Die RAM-Preise werden weiter steigen, einige Analysten sagen bis 2030, und das wird es schwieriger machen, Smartphones der nächsten Generation mit ausreichend Speicher für sinnvolle ML-Workloads zu bauen. Ich hoffe, dass es eine Art Umkehrung in der aktuellen Chip-Ökonomie gibt, denn ich liebe verteilte/demokratisierte/private Berechnung, aber derzeit scheint Cloud-basierte LLM-Inferenz viel praktikabler zu sein. Ich sehe nicht, dass lokale LLMs in absehbarer Zukunft für den allgemeinen Anwendungsfall wirklich praktikabel sind.
- TGower
Beachten Sie, dass der hier gezeigte Model-Intelligence-Score nicht derselbe ist wie der Artificial-Analysis-Intelligence-Index-Score, den sie für Modelle in voller Größe verwenden. Die Top-Modelle in diesem Pocket-Scale-Diagramm haben einen Score von 63, aber das entspricht nur einer 11 auf der normalen Skala.
- hxii
Ich habe diese Modellklasse bereits mit einem persönlichen Benchmark auf einer RX6750XT getestet. Ich hoffe, irgendwann einen persönlichen Assistenten-Agenten mit Werkzeugen betreiben zu können. Die Ergebnisse sind weitgehend gleich, mit einigen Ausreißern. Ergebnisse gibt es hier: https://0xff.nu/hexbench/