PS5LM convierte una PS5 jailbroken en un servidor de modelos GGUF con llama.cpp

Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

PS5LM ejecuta llama.cpp en la GPU RDNA 2 de una PS5 con jailbreak, usando 11.4 GB de memoria compartida para cargar cualquier modelo GGUF. Expone APIs compatibles con OpenAI y Anthropic, y una interfaz para TV que muestra las peticiones en tiempo real. También soporta modelos de decisión y lectura de imágenes. Qwen 3.5 9B alcanza 55 tokens por segundo y Qwen 3.8 27B ronda los 20 tokens por segundo con 64k de contexto.