PS5のGPUでllama.cppを動かし、家庭内モデルサーバーに変える「PS5LM」

Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

PS5LMは、jailbreakしたPS5上でllama.cppをVulkan経由で動かし、GGUFモデルをコンソールのGPUにロードするプロジェクト。OpenAIやAnthropicのAPI互換エンドポイントを提供し、ネットワーク上のあらゆるデバイスから利用できる。Qwen 3.5 9Bで毎秒55トークン、Qwen 3.8 27Bでは約20トークンで64kコンテキストを実現。Ollayaの決定モデルにも対応し、TV画面でリクエストをストリーミング表示する。