数据集、训练、验证、测试、推理与版本
理解模型从数据到线上输出的完整过程。
- 用自己的话解释“数据集、训练、验证、测试、推理与版本”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“模型选型对比表与 AI 场景判断报告”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
模型离线测试很好，上线后对新行业用户频繁失败。调查发现测试集来自训练数据的重复样本，且模型版本、数据版本和阈值没有记录。理解训练、验证、测试与推理，才能知道分数代表什么以及如何安全更新。
PLAIN EXPLANATION
说人话：它到底是什么？
数据集是样本及其标签或目标。训练集用于拟合参数，验证集用于选择模型、提示或阈值，测试集只在方案确定后评估泛化；推理是模型在新输入上产生输出。模型版本应与代码、数据、特征、配置和评测绑定。数据泄漏、分布漂移和只看总体平均会制造虚假成功。
数据划分与代表性
随机划分不总适用：同一用户、相邻文档或时间序列可能泄漏。应按用户、组织或时间隔离，并覆盖真实频率、关键长尾和高风险样本；测试集在最终决策前保持独立。
- 近重复样本跨集合去重
- 生产未知场景单独留出
- 切分规则与随机种子记录
训练、调参与过拟合
训练优化模型参数，验证集用于选择超参数、阈值和停止时机。反复根据测试结果修改方案等于把测试集变成验证集；过拟合表现为记住样本而非学习可泛化规律。
- 建立简单基线作比较
- 按重要分群报告指标
- 错误分析驱动新数据而非刷榜
推理版本与线上反馈
线上输出受模型、预处理、Prompt、检索和阈值共同影响，版本记录必须完整。部署后监控输入分布、质量代理和真实结果，新反馈进入训练前要审查同意与偏差。
- 请求关联完整版本组合
- 灰度比较并保留回滚
- 训练数据谱系可追踪
训练、验证、测试各司其职，最终测试集不参与反复调参。
切分按泄漏风险与生产分布设计，并覆盖长尾和高风险。
推理结果绑定完整版本，线上漂移与反馈进入受控闭环。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了理解大模型的能力、限制和主要选型变量时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
工单模型按企业隔离训练与测试，避免同一模板跨集合；最近一个月作时间外测试，并建立高风险少数类切片。模型、数据快照、特征和阈值共同编号，5% 灰度监控分群效果，异常可回到上一组合。
团队随机按行切分高度重复对话，训练和测试出现近似文本；每次看测试结果后继续改特征，最终分数虚高。上线只记录“model-latest”，无法知道阈值与数据版本，也把用户投诉自动加入训练而不审核。
“请按 tenantId 和时间切分并做近重复检测，测试集冻结；报告总体与行业、语言、高风险类切片。模型注册表绑定 dataSnapshot、feature、threshold 和 codeCommit，推理日志记录组合版本以支持灰度回滚。”
HANDS-ON
必做实操任务
本节产出：“模型选型对比表与 AI 场景判断报告”阶段任务中的《数据集、训练、验证、测试、推理与版本》一页实践卡
步骤 1为一个真实数据集选择按行、用户、组织或时间切分并解释泄漏风险。
步骤 2建立训练、验证、测试和高风险挑战集的用途与访问规则。
步骤 3比较训练与验证表现，识别过拟合并提出数据或正则化方向。
步骤 4设计模型版本卡，绑定数据、代码、配置、指标、限制和回滚版本。
实践结果会自动保存在本机，并进入项目工坊的任务来源。
任务与生产人群：____
数据来源、时间与同意：____
样本单位：____ 标签：____
切分键：用户 / 组织 / 时间 / 其他____
训练集用途与规模：____
验证集用途：____
冻结测试集：____
挑战集与高风险切片：____
近重复与泄漏检查：____
基线：____ 总体指标：____ 切片指标：____
modelVersion____ dataSnapshot____ codeCommit____ config____ threshold____
灰度、监控与回滚：____
限制与不适用场景：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
达到 60% 即可完成本课。
INTERVIEW
常见面试题
展开参考回答
根据用户、组织、时间和近重复风险选择隔离切分，训练集拟合、验证集选模型与阈值、冻结测试集做最终评估，另建长尾高风险挑战集。报告总体与切片，保留简单基线。版本把数据快照、代码、模型、配置、阈值和评测绑定，线上逐请求记录并支持灰度、监控、回滚。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“数据集、训练、验证、测试、推理与版本”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“训练集、推理、数据泄漏”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。