文档解析、清洗、切分与元数据
把复杂文档转成可检索的知识单元。
- 用自己的话解释“文档解析、清洗、切分与元数据”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
一份年报包含页眉页脚、双栏、表格和扫描页，简单按每 500 字切分后，数字与表头分离、章节标题丢失，检索结果看似相关却无法理解。RAG 的基础不是向量库，而是把真实文档转成保留语义和治理信息的知识单元。
PLAIN EXPLANATION
说人话：它到底是什么？
文档解析把 PDF、网页、表格、图片等还原为文字与结构；清洗去除噪声但不应篡改事实；切分把长内容变成适合检索与上下文的 chunk；元数据记录来源、层级、权限、日期、版本和处理状态。策略需按文档类型设计，并用真实查询验证，不存在适合所有材料的固定长度。
解析与质量检测
数字 PDF 可提取文本，扫描件需 OCR，网页要处理导航与动态内容，表格要保留行列关系。解析后检查页数、字符量、乱码、缺页和结构，低质量文件不应静默进入索引。
- 保存原件和解析器版本
- 表格、代码与图片单独处理
- 失败状态可重试并人工查看
清洗与语义切分
去除重复页眉、导航和不可见字符，同时保留标题、列表、引用、数字单位。按章节与段落切分更利于语义完整，必要时小幅重叠；父子片段可兼顾召回精度与回答上下文。
- 不要跨无关章节拼接
- 问题答案应尽量位于同一块
- 切分大小按查询和模型实测
元数据与数据谱系
chunk 需关联 documentId、sectionPath、page、tenant、ACL、language、validTime、contentHash 和版本。元数据支持过滤、引用、增量更新、去重和删除，也让团队追溯某条答案来自哪次处理。
- 继承权限并允许片段级覆盖
- 内容哈希识别重复与变化
- 处理时间不替代业务有效期
先恢复真实文档结构与质量，再考虑索引。
切分以语义完整和真实查询效果为准，不迷信固定字符数。
元数据连接来源、权限、时效、版本、更新和删除。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了与算法和工程团队共同设计 Prompt、RAG、Agent 和评测方案时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
年报解析器识别标题、页码和表格，表头随行数据保存；章节按语义切分并为长表生成父子块。每块带报告年份、章节路径、页码与内容哈希，抽样核对数字。OCR 置信度过低的页面进入人工队列而非直接上线。
团队删除所有换行后每 500 字硬切，表格数字与单位散落，页眉被重复索引数百次。片段没有文档 ID、页码、权限和版本，用户看到错误数字无法回原文，文件更新只能整库清空重做。
“请按 parserType 输出结构化 block，并记录 parserVersion 与 qualityFlags。切分优先 section/paragraph，表格保存 headers；chunk 带 documentId、sectionPath、pageRange、ACL、validAt、contentHash，低质量不进入 active 索引。”
HANDS-ON
必做实操任务
本节产出：“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务中的《文档解析、清洗、切分与元数据》一页实践卡
步骤 1选择 PDF、网页和表格各一份，比较解析后的结构、缺失和噪声。
步骤 2分别使用固定长度、语义段落与父子切分，测试五个真实问题。
步骤 3为文本、表格、代码和图片说明不同切分与引用方式。
步骤 4设计文档上传、质量检查、索引、更新、归档和删除状态机。
实践结果会自动保存在本机，并进入项目工坊的任务来源。
文档类型与样本：____
解析器/版本：____
需保留结构：标题____ 表格____ 列表____ 图片____ 页码____
质量检查：页数____ 乱码____ OCR____ 缺失____
清洗：删除____ 保留____
切分候选：固定____ 语义____ 父子____
大小/重叠与理由：____
特殊内容策略：____
元数据字段：____
权限、有效期和版本：____
抽样查询与结果：____
失败队列：____
更新、去重、归档、删除：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
达到 60% 即可完成本课。
INTERVIEW
常见面试题
展开参考回答
先按 PDF、网页、扫描、表格等类型选择解析器，保留标题层级、阅读顺序、页码与表格关系，并做乱码缺页和 OCR 质量门槛。清洗只去噪，切分按章节段落或父子结构，用真实查询评测。每块记录来源、页码、租户 ACL、有效期、语言、内容哈希和处理版本，支持增量更新、引用和删除。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“文档解析、清洗、切分与元数据”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“Chunking、元数据、文档解析”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。