Платформенные инженеры становятся инженерами инференса: почему сейчас
An Open Field Guide to Inference Engineering
Руководство для платформенных инженеров, которые впервые берутся за инференс: как модели уживаются с GPU и как поднять их в продакшене. Разбираются веса и KV-кэш, две фазы запроса с разными узкими местами, метрики вроде TTFT и goodput, а также стоимость миллиона токенов. Отдельно показано, какие навыки SRE переносятся напрямую — от планирования ёмкости до FinOps — и когда self-hosting выгоднее hosted API.
Цена фиксированного уровня возможностей AI падает примерно в 10 раз в год, и большая часть этого прироста объясняется тем, как модели обслуживаются, а не лучшими GPU.
- libraryofbabel
Это разумное резюме, хотя, как мне кажется, в нём отсутствуют некоторые основы. Интересно, насколько это будет понятно платформенному инженеру, у которого ещё нет очень прочного понимания внутренностей архитектуры трансформеров, таких как механизм Attention и его более поздние варианты. Не знаю, можно ли действительно освоить этот материал, не имея в голове базовой картины внутреннего устройства модели — что такое KV-кэш на самом деле и как он возникает из повторяющихся вычислений внимания по непрерывно растущему префиксу, не говоря уже о понимании оптимизаций KV-кэша вроде PagedAttention, которые сильно зависят от деталей того, как вы вычисляете веса внимания с помощью матричных умножений, softmax и т.д. Я точно не смог бы осмыслить что-то вроде «Вместо повторного вычисления этой истории движок хранит ключи и значения внимания для каждого токена в полёте» без довольно основательного понимания того, как работает Attention, которое мне пришлось почерпнуть из других источников.
Это также недостаток в остальном фантастической книги Филипа Киели «Inference Engineering»; она как бы скользит по деталям архитектуры трансформеров, которые нужно брать откуда-то ещё. Книги Себастьяна Рашки очень хороши для этого, но потом нужно связать всё это с тем, как делать эффективный инференс, о чём он говорит не так много.
- randbyte
Выглядит довольно обобщённо. И, честно говоря, я смог с помощью агента вручную собрать стек обслуживания кластера на vllm, дополнив его спекулятивным декодированием, повторным использованием кэша ядер и исправлением или портированием вперёд багов движка.
- d-ramdass
Это руководство для платформенных инженеров, новых в инференсе. Если вам нужно понять, как модели и GPU работают вместе и как запускать инференс в продакшене, это руководство поможет. Вы также узнаете об инструментах, которые стоит использовать, и о том, как вырасти до роли инженера по инференсу. Это руководство написано мейнтейнерами open source проекта Modelplane из песочницы CNCF.