Ein 13 Jahre altes iPad Air lässt ein 16B-Modell mit 4,5 Tokens pro Sekunde laufen

I'm making LLMs work on small and old devices

Das Projekt smolmaxxing quetscht große Sprachmodelle auf Hardware, die dafür nie gedacht war: eine Xiaomi-TV-Box mit 1,9 GB RAM und ein jailbroken iPad Air von 2013 mit 1 GB. Mit eigenen Kernen, 1-Bit-Gewichten und einem Experten-Pager, der Daten bei Bedarf aus dem Flash holt, laufen dort Modelle von 260K bis 16B Parametern – jeder Wert auf dem Gerät selbst gemessen, Experiment für Experiment dokumentiert.