Stanford 교수가 TCP를 대체할 새 프로토콜을 주장하다
Homa: The end of TCP for AI clusters [video]
Stanford 교수가 AI 클러스터를 위해 TCP를 대체할 새로운 프로토콜 Homa를 제안한다. USENIX ATC 2021 논문과 LWN, The Register 기사를 통해 소개된 이 프로토콜은 기존 TCP의 한계를 극복하고 AI 학습에 최적화된 성능을 목표로 한다. Hacker News에서 관련 비디오와 논의가 공유되었다.
Stanford 교수가 TCP를 대체할 새 프로토콜을 위해 북을 두드리고 있다.
HN 토론
50- Animats
Homa는 꽤 오래전부터 있었습니다. 2018년 논문이 여기 있습니다.[1]
핵심 아이디어: 메시지가 송신자의 트랜스포트 모듈에 도착하면, Homa는 메시지를 두 부분으로 나눕니다: 초기 비스케줄 부분(첫 RTTbytes 바이트)과 그 뒤를 잇는 스케줄 부분입니다.
송신자는 하나 이상의 DATA 패킷을 사용하여 비스케줄 바이트를 즉시 전송합니다. 스케줄된 바이트는 수신자가 GRANT 패킷을 사용하여 명시적으로 요청할 때까지 전송되지 않습니다.
따라서 짧은 요청에는 블라인드로 보내고, 그 다음 수신자로부터 승인을 받아야 합니다.
이는 주된 애플리케이션이 원격 프로시저 호출일 때 합리적입니다. 이는 QNX의 네트워킹 프로토콜을 연상시키는데, 이 역시 단일 패킷 메시지 요청/응답이지만 임의로 긴 메시지도 처리할 수 있습니다.
오늘날 이것이 작동하게 만드는 것은 하드웨어 스위치에서 패킷당 처리 오버헤드가 바이트당 오버헤드에 비해 낮다는 점입니다. 초기 소프트웨어 기반 스위치에서는 패킷당 오버헤드가 지배적인 경향이 있었고, 작은 패킷을 보내는 것은 매우 비효율적이었습니다. FPGA가 처리를 담당하는 현대 하드웨어 스위치에서는 패킷당 오버헤드가 충분히 낮아서 작은 패킷이 비효율적이지 않습니다.
오늘날 웹 관련 stuff가 너무 비대해져서 1MB 미만의 트랜잭션이 '작은' 것으로 간주된다는 점이 재미있습니다.
따라서 이것은 개방형 웹 사용에 적합한 프로토콜이 아닙니다.
[1] https://people.csail.mit.edu/alizadeh/papers/homa-sigcomm18....
- Veserv
Homa는 좋은 설계가 아닙니다. [1]
1. 전체 RPC 손실을 감지할 방법이 없습니다. 외부 연결 상태가 없기 때문에 RPC의 송신 측 모든 패킷이 손실되면 서버가 재전송을 발행해야 함을 감지할 방법이 없습니다. RPC는 그냥 허공으로 사라집니다. 이는 송신 측에 패킷이 더 적기 때문에 단일 패킷에 맞는 메시지와 같은 작은 메시지에 더 큰 영향을 미칩니다.
2. 위와 관련하여, 내장 암호화 지원이 없습니다. 따라서 암호화를 원한다면 위나 아래에 계층을 추가해야 합니다.
3. 벤치마크된 성능이 끔찍합니다. [2] 표 4의 60kB 평균 메시지 사례는 평균 20Gbit/s를 내려면 5(!)개의 하이퍼스레드가 필요합니다. 이는 하이퍼스레드당 4Gbit/s에 불과합니다. 완전히 순진한 시스템 콜당 한 패킷 네트워크 프로토콜 설계 및 구현조차 하이퍼스레드당 약 8Gbit/s를 달성해야 합니다. 성능에 약간만 집중하면 하이퍼스레드당 30Gbit/s는 쉽습니다.
4. QUIC의 모든 성능 설계 문제에도 불구하고(여전히 Homa보다 빠름) 이미 Homa가 해결하려는 거의 모든 문제를 훨씬 더 깔끔한 방식으로 해결합니다. 스트림 ID는 RPC ID에 해당합니다. 스트림 Max는 Grants에 해당합니다. 단일 Client 아래의 여러 스트림은 우선순위 지정을 허용합니다.
단, 전체 메시지를 무작위로 잃지 않습니다. 작은 메시지를 패킷으로 압축할 수 있습니다. 더 정확한 RTT 시간을 얻어 더 정확한 페이싱/혼잡 계산이 가능합니다. 내장 암호화를 얻습니다. 고착된 미들박스에서도 살아남습니다. 여러 ack 프레임/패킷이 있어 ac […]를 줄입니다.
- giovannibonetti
몇 달 전 Jane Street의 Ron Minsky가 팟캐스트에서 TCP가 AI 클러스터의 병목이 되는 방법에 대해 이야기하는 것을 들었던 기억이 납니다. 전기 엔지니어로서, 네트워크를 통과하는 액터가 많을 때 네트워크 사용이 매우 희박하기 때문에 회선 교환이 패킷 교환에 자리를 내주었다는 것을 기억합니다. 그다지 효율적이지는 않지만, 그 다양한 트래픽 때문에 흐름 패턴이 너무 동적이어서 최적화하기 어렵습니다. 자동차 교통과의 좋은 비유는 시내 중심가에 너무 많은 자동차가 다양한 장소로 가고 있어서, 신호등이 – 비효율적임에도 불구하고 – 적어도 충분히 잘 작동하는 해결책이라는 것입니다.
반면에 트래픽이 매우 예측 가능한 패턴을 따르면 맞춤형 구현이 훨씬 더 효율적일 수 있습니다. 특히 요즘 머신 러닝은 강화 학습을 통해 훨씬 더 나은 솔루션을 찾을 수 있습니다. 그리고 AI 클러스터 데이터 흐름은 인터넷 전체를 통해 가는 것보다 훨씬 더 예측 가능합니다.
- throw0101c
(~6:01) "혼잡 제어는 송신자의 책임"과 "어떻게든 송신 노드가 너무 빨리 보내는 것을 멈추게 해야 한다"와 관련하여. Ethernet/RoCE에는 그런 게 없나요?
> 링크 레벨 흐름 제어: InfiniBand는 무손실 HCA-to-HCA 통신을 보장하기 위해 크레딧 기반 알고리즘을 사용합니다. RoCE는 Ethernet 위에서 실행됩니다. 구현에는 InfiniBand와 유사한 성능 특성에 도달하기 위해 무손실 Ethernet 네트워크가 필요할 수 있습니다. 무손실 Ethernet은 일반적으로 Ethernet 흐름 제어 또는 우선순위 흐름 제어(PFC)를 통해 구성됩니다. 데이터 센터 브리징(DCB) Ethernet 네트워크 구성은 InfiniBand 네트워크 구성보다 더 복잡할 수 있습니다.[19]
* https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet
> 송신 스테이션(컴퓨터 또는 네트워크 스위치)이 링크의 다른 쪽 끝이 수용할 수 있는 것보다 빠르게 데이터를 전송할 수 있습니다. 흐름 제어를 사용하여 수신 스테이션은 수신기가 따라잡을 때까지 전송 중단을 요청하는 신호를 송신자에게 보낼 수 있습니다. Ethernet의 흐름 제어는 데이터 링크 계층에서 구현될 수 있습니다.