评测集、黄金答案、指标与 LLM-as-a-Judge
建立可重复的离线与人工评测体系。
- 用自己的话解释“评测集、黄金答案、指标与 LLM-as-a-Judge”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
团队用十道顺手编的问题比较两个模型，模型 B 得分更高就全量上线；上线后专业长尾和拒答场景严重退化。另一套 LLM-as-a-Judge 又偏爱更长、更像自身风格的回答。没有代表性评测集和一致标注，任何“提升”都可能只是样本与评委偏差。
PLAIN EXPLANATION
说人话：它到底是什么？
评测集是有输入、上下文、预期与元数据的测试集合；黄金答案可以是唯一结果、关键要点、允许范围或支持证据，不一定要求逐字一致。指标应对应任务：分类看精确率召回率，RAG 看证据召回与事实支持，Agent 看完成与安全。LLM-as-a-Judge 能扩展评价，但要用清晰 rubric、盲评、顺序随机和人工校准。
构建代表性样本
样本来自真实流量、用户研究、生产失败、专家设计和红队，并按高频、长尾、高风险、无答案和对抗分层。训练、开发和最终回归集隔离，防止反复优化后测试失真。
- 每条样本记录来源和使用权
- 分布权重匹配产品风险
- 失败样本持续进入候选池
黄金标准与指标
抽取任务可有精确字段，开放回答用必含要点、禁用内容和证据。标注指南包含正反例，重要样本双人标注与仲裁。总体分数之外报告切片和严重失败率。
- 技术成功与任务完成分开
- 质量门槛先于平均提升
- 指标方向与业务决策一致
Judge 偏差与校准
模型评委可能受答案顺序、长度、措辞、同源模型和提示注入影响。对候选匿名、随机交换顺序，要求按 rubric 输出分项理由；定期与专家盲评比较一致性。
- 高风险样本不只依赖自动评委
- 评委模型与提示固定版本
- 分歧样本进入人工复核
评测集覆盖真实分布、长尾、高风险、无答案与对抗。
黄金标准按任务定义关键事实、证据、边界和不可接受输出。
LLM Judge 是可校准测量工具，不是无偏真理。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了与算法和工程团队共同设计 Prompt、RAG、Agent 和评测方案时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
客服评测从脱敏真实工单采样，加入政策长尾、无权限和提示注入；专家用 rubric 标注事实、引用、下一步和禁用承诺。模型评委盲化候选、随机顺序，与双人专家在 10% 样本校准；报告各风险切片及严重错误。
测试集由 Prompt 作者挑选十个理想问题，黄金答案只有自己的长文；上线前多次查看并按结果改 Prompt。Judge 知道模型名称，始终偏爱更长答案，没有人工校准，总平均提升掩盖越权回答翻倍。
“eval item 需 input、context、expectedFacts、citations、forbidden、slice、severity。开发集和冻结回归集分开；Judge 对模型名盲化、答案顺序随机，输出 rubric 分项。高风险和 judge 分歧全部人工复核。”
HANDS-ON
必做实操任务
本节产出：“Prompt 模板、RAG 流程、Agent 工作流与评测集”阶段任务中的《评测集、黄金答案、指标与 LLM-as-a-Judge》一页实践卡
步骤 1从真实、失败、专家与红队四类来源建立 30 条分层评测样本。
步骤 2为五类样本分别定义黄金字段、必含要点、禁用和证据要求。
步骤 3让两名标注者独立评分并计算一致性，讨论分歧后完善 rubric。
步骤 4运行一次盲化 LLM Judge，交换答案顺序并与专家结果校准。
核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。
任务与上线决策：____
样本来源：真实____ 失败____ 专家____ 红队____
切片与目标占比：高频____ 长尾____ 高风险____ 无答案____ 对抗____
item：input____ context____
黄金：exact____ requiredFacts____ citations____ allowed____ forbidden____
严重度：____
指标与质量门槛：____
标注指南与双人仲裁：____
开发集/冻结回归集：____
Judge 模型、Prompt 与版本：____
盲化、顺序随机：____
人工校准比例和一致性：____
失败回流规则：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
核心重点需达到 80% 才算掌握，未通过会进入错题本。
INTERVIEW
常见面试题
展开参考回答
从脱敏真实流量、生产失败、专家和红队构建样本，按高频、长尾、高风险、无答案和对抗分层，隔离开发与冻结回归。黄金标准按任务定义事实、引用、允许和禁用，重要样本双人标注。指标报告总体与切片、严重错误；LLM Judge 盲化随机、固定版本并与专家持续校准。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“评测集、黄金答案、指标与 LLM-as-a-Judge”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“评测集、黄金答案、LLM-as-a-Judge”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。