Fehlermodi beim Rollout von KI-Features

Demos verdecken die operative Oberfläche

Eine polierte Demo zeigt, dass ein Modell unter kuratierten Bedingungen nützliche Ausgaben erzeugen kann. Ein Rollout zeigt, dass dasselbe System nützlich bleibt, wenn Traffic chaotisch ist, Latenzbudgets eng sind und die Organisation schlechte Antworten auffangen muss, ohne den Support zu überlasten.

Behandeln Sie die erste Produktionswoche als Systemtest. Sie validieren Aktualität der Retrieval-Daten, Tool-Zuverlässigkeit, Fallback-Pfade, Kostendeckel und die menschlichen Workflows, die auffangen, was Automation verfehlt. Sind diese Teile undefiniert, ist das Feature nicht bereit — nur die Demo.

Qualität driftet ohne Owner

Model-Provider ändern Defaults. Prompts sammeln Ausnahmen. Retrieval-Indizes veralten. Nichts davon meldet sich mit einem roten Deploy. Teams, die KI ohne expliziten Qualitäts-Owner ausliefern, entdecken Regressionen Wochen später über Kundenbeschwerden.

Weisen Sie Ownership zu wie bei einem Availability-SLO. Definieren Sie die relevanten Eigenschaften, sampeln Sie Produktionsverkehr und verlangen Sie einen benannten Reviewer, wenn sich diese Eigenschaften bewegen. Drift ist unvermeidlich; herrenlose Drift ist ein Produktversagen.

• Versionieren Sie Prompts, Retrieval-Konfiguration und Evaluationssuites gemeinsam
• Alarmieren Sie auf Ablehnungsrate, Eskalationsrate und Korrekturrate — nicht nur auf Fehler
• Halten Sie einen Rollback-Pfad bereit, der KI deaktiviert, ohne das Produkt zu deaktivieren
• Budgetieren Sie Zeit für Post-Launch-Triage, bevor Sie Erfolg erklären

Fallbacks sind Teil des Features

Wenn das Modell nicht verfügbar, langsam oder unsicher ist, brauchen Nutzer trotzdem einen Weg, die Aufgabe zu erledigen. Ein leerer Zustand oder eine höfliche Entschuldigung ist kein Fallback. Ein Fallback ist der deterministische Flow, die gecachte Antwort, das Suchergebnis oder die menschliche Übergabe, die Fortschritt erhält.

Entwerfen Sie Fallbacks vor dem Launch und üben Sie sie im Staging. Messen Sie, wie oft sie greifen. Sind Fallbacks im Test selten, in Produktion aber häufig, stimmen Ihre Confidence-Schwellen oder Abhängigkeitsannahmen nicht.

Release-Kriterien müssen Kosten und Risiko einschließen

Eine Handvoll Golden Prompts zu bestehen ist notwendig und unzureichend. Gate Releases an kritischen Property-Regressionen, Kosten pro erfolgreichem Outcome, Latenz bei p95 und der Bereitschaft von Support- und Trust-Teams. Hochrisiko-Aktionen brauchen strengere Hürden als Low-Stakes-Entwurfshilfen.

Ein gesunder KI-Rollout wirkt langweilig: schrittweise Exposition, klare Kill-Switches, beobachtete Qualität und ein Team, das erklären kann, was sich geändert hat, wenn etwas schiefgeht. Diese Langeweile ist das Signal, dass Engineering das Risiko besessen hat, statt auf das Modell zu hoffen.