Guida di Jamesob per eseguire LLM all'avanguardia in locale

Jamesob's guide to running SOTA LLMs locally

Condivido la mia esperienza nel costruire un sistema locale per modelli LLM, partendo da budget di 2.000 dollari fino a configurazioni da 40.000 dollari con 4 RTX PRO 6000. Spiego come ho ottimizzato l'hardware, incluso l'uso di switch PCIe personalizzati per ridurre la latenza, e fornisco configurazioni pronte per eseguire modelli come GLM-5.2-594B.

"Sto spendendo soldi sulla VRAM, dove conta davvero, invece che su un sistema base PCIe5/DDR5, che è terribilmente costoso."