Как запустить передовые LLM локально: от $2k до $40k за 384GB VRAM

Jamesob's guide to running SOTA LLMs locally

Я делюсь своим опытом сборки локальной системы для запуска самых мощных LLM, от бюджетных решений с RTX 3090 до флагманской станции на 4x RTX PRO 6000. Мой подход включает использование PCIe-коммутаторов для прямого обмена данными между видеокартами и оптимизацию BIOS для максимальной производительности. Это позволяет запускать модели уровня Claude Opus, такие как GLM-5.2, с невероятной скоростью и полным контролем над данными.

"Если Dario и Altman вызывают у вас дискомфорт, прочитайте это, чтобы понять, как запустить новый вид вычислений локально."