llama.cpp：本地运行大模型的终极方案

llama.cpp 让本地运行大模型变得前所未有的简单。只需运行 llama serve，安装 pi-llama 插件并启动 Pi，系统就能自动发现本地模型，无需任何配置或 API 密钥。所有文件都保留在本地，请求永不离开你的机器。从笔记本电脑到大型集群，llama.cpp 支持各种硬件，包括 Apple Silicon、M Ultra、RTX 5090、H100、MI300 等，提供统一的二进制文件和针对每种 GPU 和 CPU 优化的内核。