ストリーミングLLM応答の可観測性
· 10分で読める
初回トークンと部分出力は品質の見え方を変えます。HTTP境界でトレースが終わると最長区間を盲目で飛ばします。
ストリーミングは別の失敗面
バッチ推論はレイテンシを隠す。ストリーミングは部分失敗を露わにする。
クライアント描画からツール副作用まで計測。
ストリームをスパンする
ターンごとに1トレース、取得・ルーティング・初トークン・ツール・終了の子スパン。
SSE/WebSocketでコンテキスト伝播、またはturn idで相関。
- プロバイダTTFTとゲートウェイを分離
- クライアント切断と課金を追跡
- 評価用に全文サンプル
- ハードタイムアウト前に停滞ギャップをアラート
品質シグナルは同じタイムライン
ストリーム中の軽量チェック：引用、拒否、ツール形状、取得ヒット。
A/Bでストリーミングコホートとバッチ基準を比較。
ストリームをプロダクトSLOとして運用
TTFT p95、停滞なし完了、ツール終了でSLO定義。
ユーザーが見る体験を測る。
2026年10月18日、Berktug Berke Ates が公開。