HEIR-Compiler: 4000-fache Verlangsamung bei homomorpher Verschlüsselung – und wie GPUs helfen
Updates on HEIR, the Homomorphic Encryption Compiler Project
Jeremy Kun gibt ein Update zum HEIR-Projekt, einem Compiler für homomorphe Verschlüsselung (HE), der ML-Modelle auf verschlüsselten Daten ausführt. Er zeigt anhand von Beispielen wie Betrugserkennung, dass die Inferenz auf einer CPU etwa 4000-mal langsamer ist als im Klartext (2 Sekunden vs. 0,5 ms), aber auf einer GPU nur noch 50-mal langsamer. Der Beitrag erläutert die Funktionsweise, die Herausforderungen bei der Modellkonvertierung und die Vision, HEIR benutzerfreundlicher zu machen. Zudem diskutiert er, wer HE wirklich nutzen möchte – und warum private LLMs noch weit von der Praxis entfernt sind.
Die SOTA ist immer noch sehr weit davon entfernt, praktikabel zu sein – die Latenzen werden in Sekunden pro Token gemessen, und alle mir bekannten Lösungen erfordern einen Round-Trip zum Client.