# 流式 LLM 响应的可观测性

首 token 时间与部分输出改变质量判断。追踪在 HTTP 边界结束意味着在最长一段请求中盲目飞行。

Published: 2026-10-18

## 流式是不同的失败面

批式推理隐藏延迟。流式暴露部分失败：首 token 慢、块停滞、JSON 截断。

从客户端渲染到工具副作用全程埋点。

## 为流建 span

每轮一条追踪，子 span 覆盖检索、路由、首 token、工具与收尾。

通过 SSE/WebSocket 传播上下文，或用稳定 turn id 在块边界关联。

- 分开提供商 TTFT 与网关开销
- 跟踪客户端断开与计费
- 评测抽样完整转录
- 硬超时前对停滞间隔告警

## 质量信号在同一时间线

流中轻量检查：引用、拒绝、工具形态、检索命中。

A/B 时将流式人群与批式基线对比。

## 像产品 SLO 运营流

在 TTFT p95、无停滞完成、工具收尾上定义 SLO。

测量用户真正看到的体验。