Warum Plattform-Teams jetzt zu Inference-Teams werden
An Open Field Guide to Inference Engineering
Open Models wie DeepSeek R1 konkurrieren mit geschlossenen Modellen, und Hugging Face hostet über zwei Millionen davon. Wer selbst hostet, kontrolliert Latenz, Uptime und Datenfluss und senkt bei hohem Volumen die Kosten um rund 80 Prozent. Der Leitfaden erklärt Plattform-Engineers die Grundlagen: Engine, KV-Cache, Prefill und Decode, die entscheidenden Metriken und die Frage, wann Self-Hosting wirklich sinnvoll ist.
Der Preis für ein festes Maß an KI-Fähigkeit fällt etwa um das Zehnfache pro Jahr, und das meiste davon kommt daher, wie Modelle bereitgestellt werden, nicht von besseren GPUs.
- libraryofbabel
Es ist eine vernünftige Zusammenfassung, obwohl ich finde, dass einige Grundlagen fehlen. Ich frage mich, wie viel Sinn das für einen Platform Engineer macht, der nicht bereits ein sehr solides Verständnis der Interna der Transformer-Architektur hat, wie z. B. des Attention-Mechanismus und seiner neueren Varianten. Ich weiß nicht, ob man das wirklich verstehen kann, ohne ein zugrundeliegendes Bild der Modellinterna im Kopf zu haben, was der KV-Cache eigentlich ist und wie er sich aus wiederholten Attention-Berechnungen auf einem kontinuierlich wachsenden Präfix ergibt, ganz zu schweigen vom Verständnis von KV-Cache-Optimierungen wie PagedAttention, die sehr stark von den Details abhängen, wie man die Attention-Gewichte mit Matrixmultiplikationen, Softmax usw. berechnet. Ich konnte sicherlich nichts wie „Anstatt diese Historie neu zu berechnen, behält die Engine die Attention-Schlüssel und -Werte für jedes Token im Flug“ verstehen, ohne ein ziemlich solides Verständnis davon, wie Attention funktioniert, das ich mir aus anderen Quellen aneignen musste.
Das ist auch eine Schwäche von Philip Kielys ansonsten fantastischem Buch Inference Engineering; es geht irgendwie über die Details der Transformer-Architektur hinweg, die man woanders herbekommen muss. Sebastian Raschkas Bücher sind dafür sehr gut, aber man muss dann alles wieder damit verknüpfen, wie man effiziente Inferenz durchführt, worüber er nicht so viel spricht.
- randbyte
Es sieht ziemlich generisch aus. Und um ehrlich zu sein, konnte ich mit einem Agenten einen Cluster-Serving-Stack mit vllm von Hand zusammenbauen, komplett mit Spec-Decode, Kernel-Cache-Wiederverwendung und dem Beheben oder Vorwärtsportieren von Engine-Bugs.
- d-ramdass
Dieser Leitfaden richtet sich an Platform Engineers, die neu in der Inferenz sind. Wenn du verstehen musst, wie Modelle und GPUs zusammenarbeiten und wie man Inferenz in der Produktion ausführt, wird dir dieser Leitfaden helfen. Du erfährst auch etwas über die zu verwendenden Tools und wie man in eine Inference-Engineering-Rolle hineinwächst. Dieser Leitfaden wurde von den Maintainern des Open-Source-CNCF-Sandbox-Projekts Modelplane geschrieben.