AI 产品的成本意识架构

单位经济应写进设计文档

让十个用户欢喜、却在一万用户时拖垮公司的 AI 功能，不是完成的设计。估算每次请求的 token、预期并发、缓存命中率、评估开销，以及客户为结果付费的意愿。这些数字应在上线前影响模型选择与交互设计。

成本意识不等于廉价。某些工作流值得用昂贵模型，因为替代方案是人工劳动或收入损失。工程任务是：在质量创造杠杆处有意支出，在没有杠杆处拒绝支出。

按难度路由工作

并非每个请求都需要最强可用模型。按风险与模糊度分类任务。确定性抽取、分类与格式化常可用更小模型或经典软件。开放式综合、规划与高风险建议，可能需要更强模型与更紧的护栏。

路由应明确且可度量。按路由跟踪质量、延迟与成本。仅在置信度低时升级的级联，在保持体验的同时控制平均请求成本。

• 缓存稳定检索与重复提示
• 优先能减少重试的结构化输出
• 像生产流量一样为评估运行做预算
• 在账单到来之前暴露成本告警

产品形态改变账单

流式输出长文很昂贵。索要简洁结构化建议更便宜，也往往更有用。界面决策——何时调用模型、发送多少历史、是否重新生成——既是成本控制，也是 UX 选择。

批量离线处理、预计算常见答案，并避免在一小段相关切片即可时发送整个账户历史。最便宜的 token，是系统从未发送的那个。

把支出当作健康信号

跟踪每次成功结果的成本，而不只是每次请求的成本。用户重试五次的“廉价”端点并不廉价。将财务指标与产品分析连接，使团队看到支出是否换来留存、转化或支持分流。

可持续的 AI 产品把模型支出当作架构参数。预算可见时，团队会发明更好的系统，而不是寄望流量保持很小。