PS5LM bringt llama.cpp auf die jailbroken PS5 – jedes Gerät im Netzwerk kann das Modell nutzen

Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

PS5LM verwandelt eine jailbroken PS5 in einen privaten Modellserver: llama.cpp läuft über den Vulkan-Backend auf der RDNA-2-GPU und nutzt 11,4 GB des gemeinsamen Speichers. Der Server bietet OpenAI- und Anthropic-kompatible APIs sowie eine Chat-Oberfläche im Browser. Qwen 3.5 9B erreicht 55 Token pro Sekunde, das 27B-Modell noch etwa 20 Token pro Sekunde mit 64k-Kontext. Auch Entscheidungsmodelle wie d1 werden unterstützt.