流式 LLM 响应的可观测性
· 10 分钟阅读
首 token 时间与部分输出改变质量判断。追踪在 HTTP 边界结束意味着在最长一段请求中盲目飞行。
流式是不同的失败面
批式推理隐藏延迟。流式暴露部分失败：首 token 慢、块停滞、JSON 截断。
从客户端渲染到工具副作用全程埋点。
为流建 span
每轮一条追踪，子 span 覆盖检索、路由、首 token、工具与收尾。
通过 SSE/WebSocket 传播上下文，或用稳定 turn id 在块边界关联。
- 分开提供商 TTFT 与网关开销
- 跟踪客户端断开与计费
- 评测抽样完整转录
- 硬超时前对停滞间隔告警
质量信号在同一时间线
流中轻量检查：引用、拒绝、工具形态、检索命中。
A/B 时将流式人群与批式基线对比。
像产品 SLO 运营流
在 TTFT p95、无停滞完成、工具收尾上定义 SLO。
测量用户真正看到的体验。
由 Berktug Berke Ates 于 2026年10月18日 发布。