# Observability per risposte LLM in streaming

Time-to-first-token e output parziale cambiano il giudizio sulla qualità. Trace che finiscono a HTTP lasciano ciechi nella parte più lunga.

Published: 2026-10-18

## Lo streaming è una superficie di failure diversa

L'inferenza batch nasconde la latenza. Lo streaming espone failure parziali: primo token lento, chunk bloccati, JSON troncato.

Strumenta dal render client agli effetti collaterali tool.

## Span lo stream, non solo il socket

Una trace per turno con span figli per retrieval, routing, primo token, tool, finalizzazione.

Propaga contesto via SSE/WebSocket o correla con turn id stabile.

- Metriche separate TTFT provider vs gateway
- Tasso disconnect client e fatturazione
- Trascrizioni complete per eval
- Allerta su gap di stall prima dei timeout

## Segnali qualità sulla stessa timeline

Controlli leggeri in stream: citazioni, rifiuti, forma tool-call, hit retrieval.

Confronta cohort streaming con baseline batch in A/B.

## Operare gli stream come SLO di prodotto

SLO su TTFT p95, completamento senza stall, finalizzazione tool.

Misura l'esperienza che l'utente vede davvero.