NVIDIA cuda-checkpoint reverse-engineert: 70x schnellere Cold Starts

Reverse-engineering Nvidia's CUDA-checkpoint for faster cold starts

Der Blogbeitrag von Doubleword untersucht das wenig bekannte NVIDIA-Tool cuda-checkpoint, das es ermöglicht, laufende CUDA-Prozesse einzufrieren, ihren GPU-Zustand in den Host-Speicher zu serialisieren und später wiederherzustellen. Die Autoren haben das Tool reverse-engineert, um herauszufinden, warum Checkpoints die PCIe-Bandbreite nicht auslasten. Sie zeigen, dass der Checkpoint-Prozess von einem Thread im Zielprozess durchgeführt wird, der über normale Resource-Manager-ioctls läuft, ähnlich wie CRIU für GPU-Kontexte. Durch direkte Manipulation des Checkpoint-Puffers und der Pipe-Kommunikation konnten sie den Prozess beschleunigen und erreichten so 70x schnellere Server-Starts.