Temperature、Top-P 与生成随机性
根据创造性与稳定性需要控制采样。
- 用自己的话解释“Temperature、Top-P 与生成随机性”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“模型选型对比表与 AI 场景判断报告”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
创意命名需要多样方案，财务字段抽取却要求每次稳定。团队简单认为 Temperature=0 就不会错、调高就会更聪明，结果结构化任务仍出现事实误差，创意任务也产生大量不可用内容。采样参数只控制候选选择，不负责知识和推理正确。
PLAIN EXPLANATION
说人话：它到底是什么？
模型为下一个 Token 产生概率分布。Temperature 调整分布尖锐程度，低值更偏向高概率候选，高值增加多样；Top-P 只在累计概率达到阈值的候选集合中采样。不同供应商实现和边界可能不同。低随机性提高可复现倾向但不保证事实正确，结构化和高风险任务还需约束、校验与评测。
概率分布与采样
同一上下文可能有多个合理后续，采样决定如何选。贪心或低温倾向稳定，高温扩大低概率候选影响；随机种子即使可用，也可能受模型版本和基础设施变化影响。
- 参数效果需按具体模型实测
- 只调一个变量便于归因
- 记录完整生成配置
任务匹配与组合
信息抽取、分类和工具参数偏向低随机与结构化输出，创意发散可适度提高多样并生成多个候选。Temperature 与 Top-P 通常不必同时激进调整，极端值可能破坏连贯。
- 稳定任务优先约束和验证
- 创意任务以候选质量评估
- 生产默认值按场景版本化
稳定不等于正确
模型可以稳定重复同一错误。事实准确依赖证据和检索，计算正确依赖工具，格式正确依赖 schema 校验；高风险结论还需要人工或确定规则复核。
- 分开评测一致性和准确性
- 失败自动重试可能重复错误
- 参数调优使用代表性任务集
Temperature 与 Top-P 控制生成多样性，不控制事实真伪。
按任务需要选择稳定或发散，并记录模型和完整配置。
格式、事实和高风险结果分别使用校验、证据和人工控制。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了理解大模型的能力、限制和主要选型变量时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
发票抽取使用低随机、JSON Schema、字段类型和总额校验；创意标题在中等随机下生成八个候选，再按品牌和禁用词筛选。团队在固定评测集对准确、格式通过率、多样和成本分别比较配置。
财务团队把 Temperature 设为 0 就直接入账，模型稳定输出错误税额；营销把值拉满后选第一个标题发布。配置未记录模型版本和 Prompt，线上结果变化时无法复现，也没有任何业务校验。
“抽取场景先固定模型、Prompt 和低随机配置，输出走 schema 与金额规则校验；创意场景允许更高随机但生成多候选并二次筛选。实验只改单一参数，记录配置和任务集指标，不能把低温当正确性保障。”
HANDS-ON
必做实操任务
本节产出：“模型选型对比表与 AI 场景判断报告”阶段任务中的《Temperature、Top-P 与生成随机性》一页实践卡
步骤 1对同一提示分别用低、中、高随机运行多次，比较一致性与质量。
步骤 2为抽取、客服回答、创意命名选择采样配置并写出判断依据。
步骤 3建立包含准确、格式、多样、延迟和成本的参数实验表。
步骤 4给一个稳定错误添加检索证据、规则校验或人工复核而非继续降温。
实践结果会自动保存在本机，并进入项目工坊的任务来源。
任务：____ 稳定/多样目标：____
固定模型版本：____ Prompt 版本：____
测试集与样本数：____
实验 A：Temperature____ Top-P____ seed____
实验 B：____
实验 C：____
准确率：A____ B____ C____
格式通过：____
重复一致性：____
候选多样：____
延迟与成本：____
典型失败：____
选择配置与适用边界：____
外部校验和人工控制：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
达到 60% 即可完成本课。
INTERVIEW
常见面试题
展开参考回答
它们是在下一个 Token 候选中控制采样范围和概率差异的旋钮，影响稳定与多样，不代表聪明或正确。抽取、分类和工具调用偏低随机并配结构校验，创意任务可提高多样、生成多候选再筛。选型必须固定其他变量，在代表性任务集比较准确、格式、重复性、成本和失败。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“Temperature、Top-P 与生成随机性”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“Temperature、Top-P、采样”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。