KI übernimmt Incident Response – Ingenieure verlieren den Draht zu ihren Systemen

Der Autor hat den richtigen Ansatz, aber nur wenige Unternehmen werden Zeit in Incident-Simulationen für ihre SREs investieren.

Warum nicht? Weil schon vor KI nur sehr wenige Unternehmen das Wiederherstellen ihrer Backups üben, Disaster Recovery üben, selten genutzte Runbooks durchgehen, testen, ob sie Secrets ohne Ausfallzeiten rotieren können, oder versuchen, das System auf die Cloud/Plattform eines anderen Anbieters umzuziehen, oder, oder, oder... Es ist die am wenigsten attraktive Betriebsarbeit, die es gibt. Kein Führungskräften kümmert das. Betriebsorganisationen streben nach glänzenden Projekten, wie alle anderen auch: neue Infrastruktur für neue Projekte, coole Chatbots, neue schicke Dashboards, dafür sorgen, dass Diagramme nach oben und rechts gehen, usw.

Piloten durchlaufen Katastrophensimulationstraining, weil die Regierung das vorschreibt. Wenn es keine Bedingung für den Besitz einer Pilotenlizenz wäre, würde kein Unternehmen dafür bezahlen.

Wollen Sie, dass SREs Zeit damit verbringen, sich auf Katastrophen vorzubereiten? Treten Sie einen Schritt zurück. Unterstützen Sie die berufliche Lizenzierung. Machen Sie es zur Bedingung für den Besitz einer Lizenz. Sie werden kein professionelles Verhalten in der gesamten Branche bekommen, bis Sie die Arbeit professionalisieren. Ohne Lizenzierung wird es nicht passieren, denn jede Abkürzung, die für Verbraucher nicht sofort sichtbar ist, bedeutet zusätzlichen Gewinn, und zunehmender Wettbewerb erfordert letztendlich, dass diese Abkürzungen genommen werden, um mit der Konkurrenz mitzuhalten und im Geschäft zu bleiben. Alle Akteure zur Lizenzierung zu zwingen, bedeutet, dass alle diese Kosten tragen müssen, und verbietet ihnen damit, [...]

Ich empfinde die Nutzung von KI wie Treibsand.

Je mehr ich sie nutze, desto mehr muss ich mich auf sie verlassen, um Änderungen vorzunehmen/Probleme in demselben System zu beheben. Am Ende fühle ich mich leer; kein intuitives Wissen über das System, das "ich" gebaut oder repariert habe.

Code-Review ist wichtig, aber es ersetzt nicht das mentale Modell, das ich aufbauen kann, wenn ich alle Schritte der Softwareentwicklung manuell ohne KI durchführe.

Je mehr Code autonom geschrieben wird, desto weniger Intuition haben die menschlichen Besitzer über diesen Code. Der Verlust der Intuition ist ein Keim für technische Schulden, der mit der Zeit wächst. Über einen langen Zeithorizont kann es dazu führen, dass sich das eigene Codebase wie der erste Tag im Job anfühlt (manchmal bei einem Unternehmen, das man selbst gegründet hat).

Zum Glück gibt es Möglichkeiten, dies zu mildern und im Wesentlichen diese menschliche Intuition darüber, wie das Codebase "sein sollte", in Leitplanken für die Agenten zu übersetzen. Aber ohne das segelt man auf einem stochastischen Meer, wo jede Welle anders aussieht als die letzte.

Ich sehe, dass die Luftfahrt-Metapher von Zeit zu Zeit erwähnt wird. In der Luftfahrt ist ein Versagen katastrophal, und die Systeme, die man bedient, ändern sich nicht im laufenden Betrieb (Wortspiel beabsichtigt).

Man kann SREs wahrscheinlich so drillen, aber man bringt ihnen nur bei, effizient zu _reagieren_, nicht, die einzigartigen Ursachen dieser Ausfälle zu _beheben_. Die Luftfahrt-Analogie wäre ein Flugzeugingenieur, der versucht, sich gleichzeitig für Triebwerksausfälle im Flug UND Triebwerksdebugging / Triebwerksneukonstruktion zu drillen.

Das ergab im Software-Engineering nie Sinn und wird es nie. Eine Minute, die mit Übungen verbracht wird, ist besser damit verbracht, das Codebase umzuarbeiten, um die Wahrscheinlichkeit zukünftiger Incidents zu verringern. Dieser Beitrag ist sehr SRE-zentriert.

Es scheint also, dass man KI bezahlt, um Incidents zu lösen, und dann Geld und Zeit für Schulungen von Ingenieuren an synthetischen Incident-Lösungen ausgibt.

Der Vergleich mit Piloten ist etwas unpassend, da die Domäne für jedes Unternehmen und Produkt sehr unterschiedlich ist. Synthetische Simulationen in jeder Domäne zu erstellen ist, als würde man doppelt für dasselbe bezahlen. Warum nicht die Ingenieure von vornherein die echten Incidents bearbeiten lassen? Warum nicht stattdessen mehr Gedanken in den Bau besserer Systeme stecken?

Code auch.

Ich arbeite mit Programmierern, und es ist nicht ungewöhnlich, dass sie sich mit erstaunlicher Detailgenauigkeit an Code erinnern, den sie in der Vergangenheit geschrieben haben.

Jemand erwähnt vielleicht ein Problem, das aufgetaucht ist, und sie starren für ein paar Momente ins Leere und erinnern sich tatsächlich, woher dieses Problem im Code stammt, weil sie sich erinnern, es vor etwa 8 Monaten geschrieben zu haben.

Diese Fähigkeit wird verloren gehen, wenn KI den gesamten Code generiert. Wir werden in einer Endlosschleife stecken, in der KI den Zustand des Codes verfolgen muss, damit KI ihn erweitern und warten kann.

Ich habe eine Variation davon gesehen, bei der zufällige Ingenieure in Produktionsincident-Anrufe einbezogen werden und von Ingenieuren nicht erwartet wird, dass sie mit dem System vertraut sind.

Sie wurden gebeten, "einfach KI zu nutzen" und die Komponente zu verstehen, das Problem zu priorisieren, einen Fix zu bauen usw. Der Ingenieur war gezwungen, sich zwischen der Akzeptanz eines möglicherweise mittelmäßigen KI-Fixes zu entscheiden oder zu riskieren, als inkompetente Person zu wirken, die nicht weiß, wie man KI nutzt.

Sie können sich vorstellen, was der Ingenieur gewählt hat. Der Fix war nicht schlecht, aber für einige Randfälle suboptimal. Wir mussten ihn später überarbeiten. Wenn solche Situationen häufig genug auftreten, werden Ingenieure schließlich definitiv aufhören, das System im Detail zu verstehen.

Wenn die Leistungssteigerung so weitergeht wie bisher, dann wird ein Incident, der nicht von KI gelöst werden kann, Menschen unabhängig von der Übung vor ein Rätsel stellen.

Ich mag das Flugzeug-Beispiel aus dem Artikel, aber ich denke, in der Realität wird es wie beim Code sein. Vor 1,5 Jahren sagten Ingenieure routinemäßig, dass sie hier und da noch von Hand Code schreiben, um ihre Fähigkeiten zu schärfen, und das hört man kaum noch, wenn überhaupt.

Wenn ein SRE mit einer Situation konfrontiert ist, die eine KI nicht lösen kann, dann wird dieser SRE die KI-Systeme nutzen, um weiter zu priorisieren, sie auf verschiedene Stellen hinweisen usw.

Das funktioniert für SREs mit Vor-KI-Erfahrung und Intuition, möglicherweise weniger für Neueinsteiger, die nach der KI kommen. Ich weiß nicht, was die Lösung dafür ist, vielleicht sind Übungen die Lösung, aber ich habe das Gefühl, dass das gesamte Feld absorbiert wird, wie viele andere Ingenieurdisziplinen.

Es gibt nur einen begrenzten Bedarf an Geschmack und Urteilsvermögen, bevor auch das in die Modelle integriert ist.

Es gibt auch eine interessante Dynamik. Selbst wenn ein Ingenieur die Ausgabe der KI liest und die Ursache der Probleme und die Diagnose des Incidents versteht, fällt es ihnen irgendwie schwer, das Gelernte zu verinnerlichen und beim nächsten Mal auf einen neuen Incident anzuwenden. Infolgedessen verliert der Ingenieur trotzdem den Bezug zum System.

Es scheint, dass unser Gehirn die Fehler während einer Diagnose irgendwie selbst erleben und diese Art der Wegsuche selbst durchführen muss, um das System wirklich zu verstehen. Ich weiß nicht, ob das damit zu tun hat, wie unser Gehirn tatsächlich lernt.