# ストリーミングLLM応答の可観測性

初回トークンと部分出力は品質の見え方を変えます。HTTP境界でトレースが終わると最長区間を盲目で飛ばします。

Published: 2026-10-18

## ストリーミングは別の失敗面

バッチ推論はレイテンシを隠す。ストリーミングは部分失敗を露わにする。

クライアント描画からツール副作用まで計測。

## ストリームをスパンする

ターンごとに1トレース、取得・ルーティング・初トークン・ツール・終了の子スパン。

SSE/WebSocketでコンテキスト伝播、またはturn idで相関。

- プロバイダTTFTとゲートウェイを分離
- クライアント切断と課金を追跡
- 評価用に全文サンプル
- ハードタイムアウト前に停滞ギャップをアラート

## 品質シグナルは同じタイムライン

ストリーム中の軽量チェック：引用、拒否、ツール形状、取得ヒット。

A/Bでストリーミングコホートとバッチ基準を比較。

## ストリームをプロダクトSLOとして運用

TTFT p95、停滞なし完了、ツール終了でSLO定義。

ユーザーが見る体験を測る。