Skip to content
Berktug Berke Ates
Berktug Berke Ates

软件工程师

博客

个性化 AI 界面的缓存失效

· 7 分钟阅读

个性化 AI 界面为速度缓存嵌入、补全与 UI 片段——然后把错误答案送给错误用户。失效必须跟踪身份、权益与提示版本,而不仅是 TTL。

个性化让 TTL 不够用

通用页面缓存按时间过期。个性化 AI UI 在用户、角色、套餐、功能开关、检索文档或提示版本变化时过期——即使时钟显示条目仍新鲜。仅按路由建键的 60 秒 TTL 仍可能泄漏另一租户的补全,或展示已撤销权益。

说清缓存什么:原始模型输出、渲染 markdown、侧栏嵌入向量或边缘 HTML 壳。每层需要不同的键与清除策略。

设计编码权限的键

在缓存键中包含租户 id、用户或会话范围、权益哈希,以及内容或提示修订。优先用不透明哈希而非拼接 PII。语义缓存要求租户作用域命名空间,使相似问题永不跨组织命中。

在权限或套餐变更时,对受影响身份广播失效——而不是 thrash 整机群的全局冲洗。记录软删除用户在宽限期内是否仍可命中温条目。

  • 按租户、身份范围、权益哈希与提示/内容修订建键
  • 按租户为语义缓存建命名空间;永不跨组织共享相似度索引
  • 在授权与套餐事件上清除,而不仅是写入时间戳
  • 对跨租户键冲突与发布后异常命中率告警

流式与 partial 让清除更复杂

AI UI 常把 token 流到同时从 CDN 或 service worker 注水的客户端。决定 partial 流是否可缓存。若只缓存完整答案,记录中途取消与工具调用修订如何避免存下半真半假。

Stale-while-revalidate 可能在一个请求周期内掩盖权益撤销。对高风险表面——计费、医疗、法律——在渲染前做显式再验证。

在生产中证明隔离

加入金丝雀检查,尝试通过键猜测与相似度搜索拉取另一租户的缓存补全。监控权限系统部署后的命中率悬崖。AI UI 中的缓存缺陷是隐私事件,而不只是 UX 毛刺。

速度重要,但正确的个性化才是产品。失效策略应与提示进入同一设计评审。


由 Berktug Berke Ates 于 2026年9月16日 发布。