El agente SSH de VSCode es una locura
VSCode's SSH Agent Is Bananas

VSCode, a diferencia de Tramp de Emacs, despliega un agente completo en el servidor remoto: descarga un binario de Node, abre una conexión WebSocket y puede recorrer el sistema de archivos, editar archivos, lanzar shells y persistir. Esto genera serias dudas de seguridad, especialmente en servidores de desarrollo o producción.
En el mundo de la seguridad, hay un nombre para las herramientas que funcionan así. No lo diré en voz alta, porque no sería justo con VSCode, pero digamos que el nombre es de naturaleza múrida.