平台工程师转型推理工程实战指南
An Open Field Guide to Inference Engineering
当AI能力成为组织核心，平台团队正迅速转变为推理团队。本文专为新手平台工程师打造，详解如何驾驭模型与GPU的协作，从vLLM等推理引擎的底层原理到生产环境部署的实战策略。内容涵盖KV Cache内存计算、Prefill与Decode阶段的双重瓶颈分析，以及如何利用SRE经验优化推理成本与延迟。通过Upbound的Project Champagne案例，揭示自托管模型如何在数据隐私、成本控制上实现80%的节省，帮助工程师在2026年的推理工程浪潮中找准职业定位。
AI能力的固定成本每年下降约10倍，而这主要归功于模型服务方式的优化，而非GPU硬件的提升。
- libraryofbabel
这份总结还算合理，不过我觉得有些基础内容缺失了。我好奇的是，对于一个对 Transformer 架构内部机制（比如 Attention 机制及其近期变体）没有扎实理解的 Platform Engineer 来说，这篇文章能有多大的可读性？如果不先在脑海中建立起底层模型内部运作的图景——比如 KV cache 到底是什么，它是如何从不断增长的上下文前缀中通过重复的 Attention 计算推导出来的——恐怕很难真正理解这些内容，更不用说理解像 PagedAttention 这样高度依赖矩阵乘法、softmax 等 Attention 权重计算细节的 KV cache 优化技术了。我肯定无法理解“与其重新计算历史，引擎会保留每个在途 token 的 Attention keys 和 values”这类表述，除非你对 Attention 的工作原理有相当扎实的理解，而我正是从其他渠道才获得这种理解的。
这也是 Philip Kiely 那本 otherwise fantastic 的《Inference Engineering》的一个短板：它略过了 Transformer 架构的细节，而这些内容你需要从别处获取。Sebastian Raschka 的书在这方面非常好，但你又得把这些知识串联起来，理解如何将其应用于高效推理，而他对这方面的探讨并不多。
- randbyte
看起来相当泛泛而谈。老实说，我甚至能直接让一个 agent 帮我手搓一套基于 vllm 的集群服务栈，其中包含 spec decode、kernel cache reuse，还能修复或前向移植引擎的 bug。
- d-ramdass
本指南面向刚接触推理领域的 Platform Engineer。如果你需要了解模型与 GPU 如何协同工作，以及如何在生产环境中运行推理，本指南将助你一臂之力。你还将学习应使用哪些工具，以及如何成长为一名推理工程师。本指南由开源 CNCF sandbox 项目 Modelplane 的维护者撰写。