AI PM Buddy从学习到交付
♢新
正在读取本机记录…
核心重点AI 能力◷ 85 分钟

RAG 的索引、检索与生成完整链路

从原始知识到带依据答案理解 RAG。

学完你能做到
  • 用自己的话解释“RAG 的索引、检索与生成完整链路”及其核心术语。
  • 在真实 AI 产品场景中识别何时应该使用本课方法。
  • 完成一份可沉淀进“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务的实践产出。
前置与关联课程

完成阶段 5 的能力检查，或先预览相关基础课

前置 · 结构化输出、JSON Schema 与工具调用关联 · 文档解析、清洗、切分与元数据
01

REAL SCENE

先从一个真实场景开始

!

企业助手接入知识库后仍频繁答错：有时文档没被解析，有时检索到了旧制度，有时模型忽略证据自行补全。团队只盯最终回答，无法判断失败发生在数据、索引、查询、召回、重排还是生成环节。

02

PLAIN EXPLANATION

说人话：它到底是什么？

RAG 是“检索增强生成”：先把受控知识解析、切分并建立索引；收到问题后理解查询、检索候选、过滤权限、重排，再把证据交给模型生成带引用答案。它让知识可更新和溯源，但不会自动保证正确。每一层都要有输入输出、版本、指标与失败样本，才能知道应优化检索还是生成。

01

离线知识加工链

原始文档先做格式识别、OCR、清洗、结构恢复和权限继承，再按语义切分、生成向量并写入索引。每个片段保存原文位置、版本、有效期和访问控制，失败文件进入可观察队列。

  • 原件、解析文本和索引分别版本化
  • 增量更新与全量重建均可执行
  • 删除和权限变化传播到全部派生数据
02

在线检索生成链

查询可先改写、拆分或补充过滤条件，随后通过关键词与向量召回候选，执行租户权限与时效过滤、重排和上下文组装。生成模型只能基于提供证据回答，并保留无答案出口。

  • 权限过滤不可交给模型自觉遵守
  • 候选去重并控制上下文预算
  • 引用绑定实际使用的片段
03

分层评测与诊断

索引覆盖率检查知识是否可用，Recall@K 判断正确证据是否被召回，重排看前列精确性，生成评测事实支持、引用和任务完成。最终错答要沿链路归因，避免盲目换更大模型。

  • 构建问题到证据的黄金映射
  • 无答案与权限样本单独评测
  • 版本变更做端到端回归
01

RAG 是数据、索引、检索、权限、生成和引用的完整系统。

02

先评测证据是否正确到达，再评价模型是否正确使用。

03

知识更新、删除和权限变化必须传播到所有索引与缓存。

#RAG#索引#检索增强
03

KEY POINT

这节课最重要的结论

核心重点
RAG 的效果上限常由数据质量和检索质量决定，而不只是生成模型。
为什么重要
这决定了与算法和工程团队共同设计 Prompt、RAG、Agent 和评测方案时，团队是否拥有一致、可验证的判断标准。
适用边界
当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
04

EXAMPLES

正确案例与常见反例

✓ 正确做法

制度助手为每份文件保留 owner、tenant、有效期和版本；查询先做权限过滤，混合召回后重排，只把前五段证据交给模型。答案逐句引用，无足够证据则说明无法确认；失败样本能定位为解析、召回、排序或生成错误。

× 常见误区

团队把 PDF 扔进向量库就宣称完成 RAG，不记录解析失败、来源和权限；检索永远返回 top 20 塞满上下文，过期版本与新版本混合。答案错了只提高模型参数，删除文档后缓存里仍可继续回答。

和工程师这样沟通

“请为 ingestion、chunk、index、query、retrieve、rerank、generate 各输出可追踪 ID 与版本。在线链路先 tenant/ACL 过滤，再召回重排；生成仅接收带 sourceId 的证据。删除事件需清索引、缓存并有对账。”

05

HANDS-ON

必做实操任务

本节产出：“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务中的《RAG 的索引、检索与生成完整链路》一页实践卡

  1. 步骤 1画出从文档上传到带引用回答的完整 RAG 数据与请求时序图。

  2. 步骤 2为每一层列出输入、输出、版本、失败类型、日志和核心指标。

  3. 步骤 3准备十组问题与黄金证据，手工检查 Recall@K 和前列相关性。

  4. 步骤 4模拟文档更新、权限撤销和删除，验证索引、缓存与答案同步变化。

○
实践完成度 0/4

核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。

RAG 端到端链路图用户问题与知识范围：____ 原始来源：____　解析/OCR：____　清洗：____ 切分策略：____　元数据：____ Embedding/关键词索引版本：____ 更新与删除：____ 查询理解/改写：____ 权限与时效过滤：____ 召回：____　topK：____ 重排：____　上下文组装：____ 生成约束：____　引用：____　无答案：____ 指标：覆盖____ Recall@K____ 排序____ 事实支持____ 失败归因与回滚：____
06

CHECKLIST

产品经理工作检查表

07

MASTERY QUIZ

掌握测验

核心重点需达到 80% 才算掌握，未通过会进入错题本。

1RAG 最准确的定义是什么？
2最终回答错误时为什么要先检查检索证据？
3知识删除后完整 RAG 系统还要处理什么？
4RAG 中权限过滤应在哪里强制执行？
5无相关证据时合理行为是什么？
08

INTERVIEW

常见面试题

请描述 RAG 完整链路，以及如何定位回答错误。
展开参考回答

离线从原件解析、清洗、结构恢复、切分、元数据和向量关键词索引开始；在线经过查询理解、权限时效过滤、召回、重排、上下文组装、证据约束生成与引用。错误先查文档是否进入索引，再查黄金证据是否召回和排前，最后评估模型是否忠于证据；所有层绑定版本、日志和回归集。

09

RECAP & FURTHER READING

重点回顾、延伸阅读与下一步

一句话回顾RAG 的效果上限常由数据质量和检索质量决定，而不只是生成模型。
  1. 1

    围绕“RAG 的索引、检索与生成完整链路”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。

  2. 2

    用“RAG、索引、检索增强”作为检索词，分别写下一条定义、一条适用边界和一个反例。

  3. 3

    对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。