Homa бросает вызов TCP в кластерах для AI
Homa: The end of TCP for AI clusters [video]
Профессор Stanford предлагает протокол Homa, чтобы заменить TCP в кластерах для AI. Обсуждение на Hacker News ссылается на статью USENIX ATC 2021 и материалы LWN и The Register о том, почему традиционный TCP плохо подходит для современных нагрузок машинного обучения.
Homa: The end of TCP for AI clusters
- Animats
Homa существует уже довольно давно. Вот статья 2018 года.[1]
Основная идея: когда сообщение прибывает в транспортный модуль отправителя, Homa делит сообщение на две части: начальную незапланированную часть (первые RTTbytes байт), за которой следует запланированная часть.
Отправитель немедленно передаёт незапланированные байты, используя один или несколько пакетов DATA. Запланированные байты не передаются до тех пор, пока получатель явно не запросит их с помощью пакетов GRANT.
Таким образом, для коротких запросов он отправляет вслепую, а затем ему нужно разрешение от получателя.
Это разумно, когда основное приложение — это удалённый вызов процедур. Это напоминает сетевой протокол QNX, который также представляет собой запрос/ответ одним пакетом, но может обрабатывать и сколь угодно длинные сообщения.
То, что делает это работоспособным сегодня, — это низкие накладные расходы на обработку одного пакета в аппаратных коммутаторах по сравнению с накладными расходами на байт. В ранних коммутаторах с программным управлением накладные расходы на пакет, как правило, доминировали, и отправка маленьких пакетов была очень неэффективной. В современных аппаратных коммутаторах, где обработкой занимаются FPGA, накладные расходы на пакет достаточно низки, чтобы маленькие пакеты не были неэффективными.
Забавно, что веб-технологии сегодня настолько раздуты, что любая транзакция размером менее 1 МБ считается «маленькой».
Так что это не подходящий протокол для открытого веба.
[1] https://people.csail.mit.edu/alizadeh/papers/homa-sigcomm18....
- Veserv
Homa — не лучший дизайн. [1]
1. Нет способа обнаружить потерю всего RPC. Поскольку нет внешнего состояния соединения, если каждый пакет на стороне отправки RPC потерян, то у сервера нет способа обнаружить, что ему следует инициировать повторную отправку. RPC просто теряется в эфире. Это больше влияет на маленькие сообщения, например, сообщения, умещающиеся в один пакет, так как на стороне отправки меньше пакетов.
2. Связано с вышесказанным: нет встроенной поддержки шифрования. Так что если вы хотите шифрование, то вам нужно разместить его либо выше, либо ниже.
3. Бенчмарки производительности ужасны. В случае среднего сообщения размером 60 КБ в [2] Таблица 4 требуется 5(!) гиперпотоков, чтобы в среднем достичь 20 Гбит/с. Это всего 4 Гбит/с на гиперпоток. Даже полностью наивный дизайн и реализация сетевого протокола с одним пакетом на системный вызов должны давать ~8 Гбит/с на гиперпоток. 30 Гбит/с на гиперпоток легко достичь, если немного сосредоточиться на производительности.
4. Несмотря на все проблемы производительности в дизайне QUIC (хотя он всё ещё быстрее Homa), он уже решает практически все проблемы, которые Homa пытается решить, гораздо более чистым способом. Идентификаторы потоков соответствуют идентификаторам RPC. Stream Max соответствует Grants. Несколько потоков под одним клиентом позволяют расставлять приоритеты.
Только вы не теряете целые сообщения случайным образом. Вы можете упаковывать маленькие сообщения в пакеты. Вы получаете более точное время RTT, что позволяет более точно рассчитывать темпы/перегрузку. Вы получаете встроенное шифрование. Он выживает в окостеневших middlebox'ах. У него есть несколько кадров/пакетов подтверждения, уменьшающих [...]
- giovannibonetti
Я помню, как слушал Рона Мински из Jane Street в их подкасте пару месяцев назад о том, как TCP становится узким местом в AI-кластерах. Как инженер-электрик, я помню, что коммутация каналов уступила место коммутации пакетов из-за очень разреженного использования сети, когда через неё проходит множество участников. Это не очень эффективно, но такое разнообразие трафика затрудняет оптимизацию, поскольку шаблоны потоков слишком динамичны. Хорошая аналогия с автомобильным трафиком: в центре города так много машин, едущих в самые разные места, что светофоры — какими бы неэффективными они ни были — это решение, которое по крайней мере работает достаточно хорошо.
С другой стороны, если трафик следует очень предсказуемому шаблону, кастомная реализация может быть гораздо эффективнее. Особенно в наши дни машинное обучение может находить гораздо лучшие решения с помощью обучения с подкреплением. И поток данных в AI-кластере гораздо более предсказуем, чем то, что передаётся через интернет в целом.
- throw0101c
Что касается (~6:01) «управление перегрузкой — это ответственность отправителя» и «нам как-то нужно заставить отправляющие узлы перестать отправлять так быстро». Разве этого нет в Ethernet/RoCE?
> Управление потоком на уровне звена: InfiniBand использует алгоритм на основе кредитов для гарантии связи HCA-to-HCA без потерь. RoCE работает поверх Ethernet. Реализации могут требовать сети Ethernet без потерь для достижения характеристик производительности, аналогичных InfiniBand. Ethernet без потерь обычно настраивается через управление потоком Ethernet или управление потоком с приоритетами (PFC). Настройка сети Ethernet с мостовым подключением дата-центра (DCB) может быть сложнее, чем настройка сети InfiniBand.[19]
* https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet
> Отправляющая станция (компьютер или сетевой коммутатор) может передавать данные быстрее, чем другой конец канала может их принять. Используя управление потоком, принимающая станция может сигнализировать отправителю с просьбой приостановить передачу, пока получатель не догонит. Управление потоком в Ethernet может быть реализовано на канальном уровне.