Embedding、语义相似度与向量检索
理解文本如何变成可比较的语义向量。
- 用自己的话解释“Embedding、语义相似度与向量检索”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“模型选型对比表与 AI 场景判断报告”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
用户搜索“怎么让团队少开无效会议”，关键词库只匹配包含“会议”的文档；Embedding 找到“异步协作规范”，却也返回语义相近但权限不符的其他公司资料。语义相似是检索信号，不等于答案相关、可信或有权访问。
PLAIN EXPLANATION
说人话：它到底是什么？
Embedding 把文本、图片等内容映射为一组数字向量，使语义相近内容在向量空间更接近。查询与文档向量可用余弦等相似度排序，向量数据库通过近似最近邻快速搜索。效果受到模型、切分、语言、领域和索引参数影响；检索还需关键词、元数据、权限、重排和原文验证。
向量与相似度
向量维度由模型决定，每个单独维度通常没有直接人类含义。相似度衡量表示接近，不是事实关系；否定、数字、时间和精确名称可能需要关键词或规则补充。
- 查询和文档使用兼容模型
- 相似度阈值用真实数据校准
- 不要跨模型直接比较旧向量
切分与元数据
长文先切成可检索片段，过大混入多主题，过小丢上下文。每个 chunk 关联文档、章节、时间、语言、租户、权限和版本，才能回溯、过滤与更新。
- 标题层级随片段保存
- 表格和代码使用专门切分
- 删除原文同步删除向量
检索评测与组合
准备真实查询和相关文档标注，观察 Recall@K、精确性与无答案场景。混合检索结合关键词精确命中与向量语义召回，重排模型再按任务相关性排序。
- 权限过滤在返回前强制执行
- 检索和最终回答分别评测
- 无相关证据允许零结果
Embedding 表示语义相似，不直接证明事实、权限或答案正确。
切分、元数据、版本和权限是向量检索产品质量的一部分。
用真实查询评测并组合关键词、向量、过滤和重排。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了理解大模型的能力、限制和主要选型变量时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
企业知识库按标题与段落切分，保存 tenantId、documentId、版本、有效期和 ACL；查询先做租户权限过滤，再混合关键词与向量召回、重排，结果展示原文片段。评测集覆盖缩写、数字、否定和无答案问题。
团队把整份 PDF 生成一个向量，不保存来源与权限；仅按相似度返回全库结果，阈值凭感觉设置。模型换版后新旧向量混用，删除原文也不清索引，用户最终检索到过期且越权内容。
“chunk 需要 documentId、sectionPath、tenantId、ACL、validFrom 和 embeddingVersion。检索先强制权限过滤，再 hybrid topK 和 rerank；返回 chunkId 与原文位置。换模型需新索引并灰度，不混用向量。”
HANDS-ON
必做实操任务
本节产出：“模型选型对比表与 AI 场景判断报告”阶段任务中的《Embedding、语义相似度与向量检索》一页实践卡
步骤 1选一份长文用固定长度和语义段落两种方式切分并比较。
步骤 2为每个片段设计来源、章节、租户、权限、时间和版本元数据。
步骤 3建立十条查询与相关片段标注，计算 topK 是否召回正确证据。
步骤 4测试名称、数字、否定、跨语言和无答案查询，决定混合策略。
核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。
知识范围与用户查询：____
Embedding 模型/版本：____
文档类型：____
切分规则：大小____ 重叠____ 标题____ 表格____
元数据：documentId____ section____ tenant____ ACL____ time____ version____
关键词召回：____
向量 topK 与阈值：____
过滤顺序：____
重排：____
评测查询：____
相关文档标注：____
Recall@K / 精确性：____
无答案策略：____
更新、重建与删除：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
核心重点需达到 80% 才算掌握，未通过会进入错题本。
INTERVIEW
常见面试题
展开参考回答
Embedding 把内容映射到向量空间，相近向量用于语义召回，但相似不等于事实、相关或授权。产品要定义切分、标题与来源元数据、租户权限、有效期和版本；结合关键词、向量、过滤和重排，在真实查询集上评测 Recall@K、精确性与无答案，并治理模型换版、更新删除和原文回溯。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“Embedding、语义相似度与向量检索”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“Embedding、语义搜索、向量”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。