Observabilité des réponses LLM en streaming
· 10 min de lecture
Le time-to-first-token change la perception qualité. Si vos traces s'arrêtent à HTTP, vous volez à l'aveugle pendant la plus longue partie de la requête.
Le streaming est une surface d'échec différente
L'inférence batch cache la latence. Le streaming expose échecs partiels : premier token lent, chunks bloqués, JSON tronqué.
Instrumentez du rendu client aux effets de bord outils.
Span le flux, pas seulement le socket
Une trace par tour avec spans enfants pour retrieval, routage, premier token, outils, finalisation.
Propagez le contexte via SSE/WebSocket ou corrélez avec un turn id stable.
- Métriques séparées TTFT fournisseur vs gateway
- Taux de déconnexion client et facturation
- Transcriptions complètes échantillonnées pour eval
- Alertes sur gaps de stall avant timeouts
Les signaux qualité sur la même timeline
Contrôles légers en cours de stream : citations, refus, forme d'appel outil, hit retrieval.
Comparez cohortes streaming et baselines batch en A/B.
Exploiter les streams comme SLO produit
SLO sur TTFT p95, complétion sans stall, finalisation outil.
Mesurez l'expérience visible, pas seulement les 5xx.
Publié le 18 octobre 2026 par Berktug Berke Ates.