탈옥한 PS5에서 llama.cpp로 GGUF 모델을 네이티브 실행

Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

PS5LM은 탈옥한 PS5의 RDNA 2 GPU에서 llama.cpp의 Vulkan 백엔드를 돌려 GGUF 모델을 네이티브로 실행한다. 공유 메모리 11.4GB를 모델과 컨텍스트에 할당하며, OpenAI와 Anthropic API를 지원해 네트워크의 모든 기기가 모델 서버로 사용할 수 있다. Qwen 3.5 9B는 초당 55토큰, Qwen 3.8 27B는 64k 컨텍스트로 약 20토큰을 생성한다. PC나 클라우드 계정 없이 콘솔만으로 동작한다.