质量、延迟、成本、缓存、路由与降级
通过工程策略平衡体验、稳定性和单位成本。
- 用自己的话解释“质量、延迟、成本、缓存、路由与降级”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
新模型质量提高 2%，首字延迟却从 1 秒变成 8 秒，每任务成本翻三倍；流量高峰时又频繁超时。团队若只优化模型分数或单次 Token 单价，就无法交付稳定可持续的体验。质量、延迟和成本必须在任务级共同管理。
PLAIN EXPLANATION
说人话：它到底是什么？
AI 系统的三角取舍是质量、延迟和成本。先按风险设质量与安全底线，再通过模型路由、缓存、批处理、上下文压缩和降级优化。延迟区分首 Token、总完成与排队时间；成本按成功任务计算模型、检索、重试、人工和基础设施。流式、超时、重试和幂等保证体验与可靠性，Prompt 和知识库版本使变化可追踪。
任务分级与模型路由
按复杂度、风险和实时性选择规则、小模型、通用模型或推理模型。路由器本身需评测，错误升级或降级都有成本；高风险任务不因预算压力跌破质量门槛。
- 简单任务优先低成本方案
- 复杂任务在需要时升级
- 路由失败有固定安全默认
缓存、批处理与预算
缓存只用于在权限、输入、版本和时效一致时可复用的结果，敏感个性化内容不能跨用户共享。非实时任务可批处理降低成本；预算按租户、功能和任务设置限额与告警。
- 缓存键含模型 Prompt 知识版本
- 失效与删除规则明确
- 成本看每成功任务和毛利
超时重试与降级
流式降低感知等待但不缩短总计算。每个依赖设置超时，重试仅针对暂时且安全的错误，写操作幂等；降级可切小模型、减少上下文、返回检索结果或转人工，并告知能力变化。
- 避免重试风暴和级联超时
- 取消传播到下游并记录计费
- 版本升级先回归再灰度
质量和安全底线先确定，再优化延迟与成本。
按成功任务计算全链路成本，并用风险复杂度路由模型。
缓存、重试和降级都必须包含权限、版本、幂等与透明度。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了与算法和工程团队共同设计 Prompt、RAG、Agent 和评测方案时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
系统用规则处理格式、小模型分类、通用模型回答，复杂高价值任务才升级推理模型。缓存键包含租户、模型、Prompt 与知识版本；超时先返回检索证据并允许后台继续。看板同时跟踪首 Token、总时长、成功率和每成功任务成本。
所有请求都调用最大模型，成本爆炸后全局换最小模型导致高风险答错。缓存只按问题文本命中，把 A 企业答案返回 B 企业；超时无限重试，重复计费。降级静默删除引用，用户仍以为获得完整结果。
“路由输入限制为 taskType、risk、complexity 和 SLA，不使用敏感自由文本做隐式决策。cacheKey 必含 tenant/model/prompt/kb/version。为各依赖设 timeout、retryable code、最大次数和 jitter；fallback 响应带 capabilityLevel。”
HANDS-ON
必做实操任务
本节产出：“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务中的《质量、延迟、成本、缓存、路由与降级》一页实践卡
步骤 1为十类任务按复杂、风险、实时和价值设计规则到推理模型路由。
步骤 2计算模型、检索、重试、人工和基础设施组成的每成功任务成本。
步骤 3设计安全缓存键、TTL、权限隔离、版本失效和删除传播。
步骤 4模拟限流、超时、模型故障和成本超限，制定四级降级与通知。
核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。
任务类型与风险：____
质量底线：____ 安全底线：____
首 Token SLA：____ 总时长：____
路由：规则____ 小模型____ 通用____ 推理____ 人工____
升级/降级条件：____
每任务成本：输入____ 输出____ 检索____ 重试____ 人工____ 基础设施____
成功任务率与单位成本：____
缓存键：tenant____ model____ prompt____ kb____ input____
TTL/失效/删除：____
超时与 retryable：____
幂等和限流：____
故障降级 1–4：____
监控、预算告警与回滚：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
核心重点需达到 80% 才算掌握，未通过会进入错题本。
INTERVIEW
常见面试题
展开参考回答
先按任务风险设质量安全底线与 SLA，再用规则、小模型、通用和推理模型分级路由；看首 Token、总时长和每成功任务全成本。通过权限版本安全的缓存、非实时批处理和上下文精简优化；为超时限流设计有限重试、幂等和透明降级。所有模型、Prompt、知识版本回归后灰度并可回滚。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“质量、延迟、成本、缓存、路由与降级”继续阅读：查阅对应技术的官方入门文档，重点核对输入输出、失败方式、权限边界与可观测性。
- 2
用“模型路由、缓存、降级策略”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。