AI PM Buddy从学习到交付
♢新
正在读取本机记录…
核心重点AI 能力◷ 85 分钟

Prompt、RAG、微调与重新训练

根据知识、行为和成本需求选择增强方式。

学完你能做到
  • 用自己的话解释“Prompt、RAG、微调与重新训练”及其核心术语。
  • 在真实 AI 产品场景中识别何时应该使用本课方法。
  • 完成一份可沉淀进“模型选型对比表与 AI 场景判断报告”阶段任务的实践产出。
01

REAL SCENE

先从一个真实场景开始

!

企业希望模型回答最新制度、保持固定客服语气并学会一个全新专业领域。团队在 Prompt、RAG、微调和重新训练之间争论。四种方法改变的对象不同：上下文、外部知识、行为参数或基础能力，选择错误会浪费成本并增加风险。

02

PLAIN EXPLANATION

说人话：它到底是什么？

Prompt 在推理时说明任务和约束，改动快但受上下文影响；RAG 检索外部知识放入上下文，适合更新频繁且要引用的事实；微调用样本调整已有模型的行为模式或领域表达，不是可靠注入不断变化事实；重新训练或持续预训练改变基础能力与知识，数据算力和治理成本最高。通常从 Prompt 和评测开始，再按失败原因逐级增加复杂度。

01

按失败原因选择

若任务定义不清先改 Prompt；缺少最新或私有事实用 RAG；输出风格、格式和重复行为不稳定可评估微调；基础语言或领域表示严重不足才考虑继续训练。不要用一种方法掩盖另一层问题。

  • 先建立代表性失败分类
  • 每种方案与非模型基线比较
  • 组合方案明确责任边界
02

知识与行为的区别

RAG 的知识可更新、删除和引用，但依赖解析与检索质量；微调把模式编码进参数，更新与删除不直观，却能减少长示例并稳定特定行为。敏感事实不宜靠参数记忆。

  • 最新政策优先外部知识源
  • 微调数据重质量和一致性
  • 引用需要保留原文链路
03

成本、版本与评测

比较开发、数据、推理、运维和更新成本，而非只看训练费用。Prompt、知识库、微调模型和基础模型分别版本化，在同一任务集评测质量、延迟、成本和安全。

  • 先小规模 PoC 验证增益
  • 失败时能回到前一方案
  • 数据许可和删除能力审查
01

先诊断是任务、知识、行为还是基础能力问题，再选择增强方式。

02

动态可引用知识优先 RAG，稳定行为模式才评估微调。

03

所有方案在同一真实任务集比较全生命周期成本与风险。

#Prompt#RAG#微调
03

KEY POINT

这节课最重要的结论

核心重点
需要新知识优先考虑 RAG，需要稳定行为模式再评估微调。
为什么重要
这决定了理解大模型的能力、限制和主要选型变量时，团队是否拥有一致、可验证的判断标准。
适用边界
当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
04

EXAMPLES

正确案例与常见反例

✓ 正确做法

客服助手用系统 Prompt 定义边界，用 RAG 获取最新政策并引用；大量评测显示语气和结构仍不稳定后，才用经审核的对话微调小模型。政策不写进参数，知识更新可即时生效；四层版本组合可追踪和回滚。

× 常见误区

团队为加入一份每周变化的价格表直接微调，更新需反复训练且无法引用；检索失败又靠更长 Prompt 掩盖。没有基线和评测，模型参数、知识库和提示同时改变，上线变好或变坏都无法归因。

和工程师这样沟通

“先把失败标为指令、知识召回、行为一致性或基础能力。政策知识走版本化 RAG 并保留 citation；微调只解决已由评测证明的稳定行为缺口。实验固定其余变量并记录 model、prompt、kb、fineTune 组合。”

05

HANDS-ON

必做实操任务

本节产出：“模型选型对比表与 AI 场景判断报告”阶段任务中的《Prompt、RAG、微调与重新训练》一页实践卡

  1. 步骤 1收集二十个失败样本，分类为任务、知识、行为或基础能力问题。

  2. 步骤 2为同一场景设计 Prompt、RAG、微调三个候选并列出预期增益。

  3. 步骤 3用统一测试集比较质量、引用、延迟、Token、开发和维护成本。

  4. 步骤 4制定知识更新、模型换版、回滚、敏感数据删除与许可检查。

○
实践完成度 0/4

核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。

模型增强方案决策表场景：____ 失败样本规模：____ 问题分类：任务____ 知识____ 行为____ 基础能力____ Prompt 方案：改动____ 增益____ 风险____ RAG 方案：知识源____ 更新____ 引用____ 检索风险____ 微调方案：数据____ 目标行为____ 许可____ 更新____ 重新训练必要性：____ 统一评测：质量____ 延迟____ 成本____ 安全____ 开发与长期维护成本：____ 版本组合：model____ prompt____ kb____ fineTune____ PoC 结论、边界与回滚：____
06

CHECKLIST

产品经理工作检查表

07

MASTERY QUIZ

掌握测验

核心重点需达到 80% 才算掌握，未通过会进入错题本。

1需要回答每周更新且必须引用的公司政策时优先考虑什么？
2微调通常更适合解决哪类问题？
3选择增强方案前最重要的第一步是什么？
4为什么实验中不应同时换模型、Prompt 和知识库？
5把敏感事实通过微调记入参数的风险之一是什么？
08

INTERVIEW

常见面试题

如何判断该用 Prompt、RAG、微调还是重新训练？
展开参考回答

先以失败集诊断：任务歧义改 Prompt，缺少动态私有且需引用的知识用 RAG，明确稳定行为在足量高质量样本上仍不一致再评估微调，基础语言或领域表示不足才考虑继续训练。用同一任务集比较质量、延迟、成本、安全和维护，分别版本化并保留回滚，通常采用渐进组合。

09

RECAP & FURTHER READING

重点回顾、延伸阅读与下一步

一句话回顾需要新知识优先考虑 RAG，需要稳定行为模式再评估微调。
  1. 1

    围绕“Prompt、RAG、微调与重新训练”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。

  2. 2

    用“Prompt、RAG、微调”作为检索词，分别写下一条定义、一条适用边界和一个反例。

  3. 3

    对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。

关联术语

#Prompt#RAG#微调