# Observabilité des réponses LLM en streaming

Le time-to-first-token change la perception qualité. Si vos traces s'arrêtent à HTTP, vous volez à l'aveugle pendant la plus longue partie de la requête.

Published: 2026-10-18

## Le streaming est une surface d'échec différente

L'inférence batch cache la latence. Le streaming expose échecs partiels : premier token lent, chunks bloqués, JSON tronqué.

Instrumentez du rendu client aux effets de bord outils.

## Span le flux, pas seulement le socket

Une trace par tour avec spans enfants pour retrieval, routage, premier token, outils, finalisation.

Propagez le contexte via SSE/WebSocket ou corrélez avec un turn id stable.

- Métriques séparées TTFT fournisseur vs gateway
- Taux de déconnexion client et facturation
- Transcriptions complètes échantillonnées pour eval
- Alertes sur gaps de stall avant timeouts

## Les signaux qualité sur la même timeline

Contrôles légers en cours de stream : citations, refus, forme d'appel outil, hit retrieval.

Comparez cohortes streaming et baselines batch en A/B.

## Exploiter les streams comme SLO produit

SLO sur TTFT p95, complétion sans stall, finalisation outil.

Mesurez l'expérience visible, pas seulement les 5xx.