Observability per risposte LLM in streaming
· 10 min di lettura
Time-to-first-token e output parziale cambiano il giudizio sulla qualità. Trace che finiscono a HTTP lasciano ciechi nella parte più lunga.
Lo streaming è una superficie di failure diversa
L'inferenza batch nasconde la latenza. Lo streaming espone failure parziali: primo token lento, chunk bloccati, JSON troncato.
Strumenta dal render client agli effetti collaterali tool.
Span lo stream, non solo il socket
Una trace per turno con span figli per retrieval, routing, primo token, tool, finalizzazione.
Propaga contesto via SSE/WebSocket o correla con turn id stabile.
- Metriche separate TTFT provider vs gateway
- Tasso disconnect client e fatturazione
- Trascrizioni complete per eval
- Allerta su gap di stall prima dei timeout
Segnali qualità sulla stessa timeline
Controlli leggeri in stream: citazioni, rifiuti, forma tool-call, hit retrieval.
Confronta cohort streaming con baseline batch in A/B.
Operare gli stream come SLO di prodotto
SLO su TTFT p95, completamento senza stall, finalizzazione tool.
Misura l'esperienza che l'utente vede davvero.
Pubblicato il 18 ottobre 2026 da Berktug Berke Ates.