关键词、向量、混合检索与重排
组合不同检索方法提高相关性与召回。
- 用自己的话解释“关键词、向量、混合检索与重排”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
用户查询产品编号“AX-410”时向量检索返回语义相似介绍，却漏掉精确编号文档；查询“如何减少会议”时关键词检索又找不到“异步协作”。团队需要组合精确匹配、语义召回与重排，而不是争论哪一种检索永远最好。
PLAIN EXPLANATION
说人话：它到底是什么？
关键词检索擅长名称、编号、术语和稀有词，常用 BM25 等方法；向量检索擅长同义表达和自然语言语义；混合检索并行召回并融合分数，元数据过滤排除不允许或不适用内容，重排器对较小候选集做更精细的查询—文档相关性判断。召回率与精确率存在取舍，应按真实问题和失败成本调优。
关键词与向量互补
关键词能解释命中词但受同义词影响，向量能跨表达召回却可能忽略数字、否定与精确实体。查询分类可对编号、短词和自然语言采用不同权重，也可加入同义词或字段提升。
- 标题与正文可使用不同权重
- 保留原始查询用于精确命中
- 查询改写不能丢数字和否定
融合、过滤与去重
两路结果分数尺度不同，可用排名融合而非直接相加；先后过滤顺序要兼顾安全和召回。候选按文档与片段去重，避免同一来源占满 topK，同时保留多样证据。
- 权限过滤是硬条件
- 融合参数记录版本
- 过滤后候选不足需明确策略
重排与检索评测
Cross-encoder 或模型重排能更细判断相关性，但增加延迟成本。用查询—相关片段黄金集计算 Recall@K、MRR 或 nDCG，并按编号、同义、否定、多跳和无答案切片分析。
- 先保证召回再优化前列精度
- 重排只处理有限候选
- 端到端回答不替代检索指标
关键词负责精确实体，向量负责语义表达，混合后再重排。
权限与时效是硬过滤，相关性分数不能越过安全边界。
按查询类型评测召回与排序，在质量、延迟和成本间取舍。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了与算法和工程团队共同设计 Prompt、RAG、Agent 和评测方案时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
查询路由识别 AX-410 为精确实体，提高标题和编号字段 BM25 权重，同时保留向量召回；两路用 RRF 融合、按 ACL 和有效期过滤、同文档去重，再重排前 30 条。评测分编号、自然语言和无答案切片。
团队把 BM25 与余弦分数直接相加，未做归一或版本记录；为了召回先从全租户检索再让模型过滤权限。topK 全是同一文档相邻块，重排吞下两百条导致延迟翻倍，却从未测正确证据是否在候选中。
“检索请并行 lexical 与 vector，使用可版本化 RRF 融合；tenant/ACL/validAt 为硬过滤，documentId 去重。reranker 只看前 30，输出各阶段排名与分数，评测按 queryType 报 Recall@10 和 MRR。”
HANDS-ON
必做实操任务
本节产出：“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务中的《关键词、向量、混合检索与重排》一页实践卡
步骤 1构造编号、专名、同义表达、否定和自然语言各五个查询。
步骤 2分别运行关键词与向量检索，标注两者独有命中和共同失败。
步骤 3设计融合、硬过滤、去重与重排顺序，并说明安全与延迟。
步骤 4计算 Recall@K 和首个相关结果排名，按查询类型确定权重。
核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。
知识与查询类型：____
关键词索引字段/权重：____
向量模型/版本：____
查询改写与实体保留：____
lexical topK____ vector topK____
硬过滤：tenant____ ACL____ time____ status____
融合算法/参数：____
去重与多样性：____
rerank 候选数/模型：____
黄金查询集：____
Recall@K____ MRR/nDCG____
分类结果：编号____ 同义____ 否定____ 无答案____
延迟与成本预算：____
选择与回滚：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
核心重点需达到 80% 才算掌握，未通过会进入错题本。
INTERVIEW
常见面试题
展开参考回答
关键词覆盖编号、专名和稀有词，向量覆盖同义与自然语言；两路并行召回后用排名融合，执行租户、ACL、时效硬过滤和文档去重，再对有限候选精排。建立按编号、同义、否定、多跳与无答案切片的黄金集，先看 Recall@K，再看 MRR/nDCG、延迟和成本，所有参数版本化。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“关键词、向量、混合检索与重排”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“混合检索、重排、召回率”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。