模型类型、幻觉、基准、选型与能力边界
在质量、速度、成本、隐私和稳定性之间做选择。
- 用自己的话解释“模型类型、幻觉、基准、选型与能力边界”及其核心术语。
- 在真实 AI 产品场景中识别何时应该使用本课方法。
- 完成一份可沉淀进“模型选型对比表与 AI 场景判断报告”阶段任务的实践产出。
REAL SCENE
先从一个真实场景开始
模型榜单第一的方案在真实客服中响应慢、成本高，还会自信编造退款政策；较小模型配合检索反而更稳定。模型选型不是买“最聪明”的模型，而是在具体任务、失败成本、隐私和运营约束下选择可持续系统。
PLAIN EXPLANATION
说人话：它到底是什么？
基础模型提供通用能力，推理模型用更多计算处理复杂问题，小模型或专用模型在窄任务中可能更快更便宜；开源、自托管与托管 API 在控制、运维和数据边界上不同。幻觉是无证据或不正确内容，知识截止导致最新信息缺失，上下文丢失与指令冲突也会失败。公开基准只能初筛，最终要用自己的任务集比较质量、速度、成本、稳定、隐私和供应风险。 模型基准测试为什么不能等同于真实产品效果？因为基准任务、数据分布、提示方式和失败成本都可能与目标用户不同。AI 能力边界与不适合使用 AI 的场景必须单独判断：当规则可以确定、错误不可逆且无法人工复核时，应优先采用确定性方案。
模型与部署选择
通用模型适合范围广的语言任务，推理模型适合值得额外时间成本的复杂决策，小模型适合分类抽取和高并发。托管 API 上手快，自托管增加控制但承担硬件、更新和安全运维。
- 按任务路由而非全用最大模型
- 评估区域、日志和数据保留
- 供应商限额与退出方案可见
失败类型与边界
幻觉可能来自缺知识、检索错、上下文冲突或生成推断；过时知识、长文遗漏、计算错误和工具越权需要不同对策。先判断错误能否检测、恢复和由用户承担，再决定是否使用。
- 无证据问题允许拒答
- 不可逆高风险不全自动
- 失败案例按原因持续积累
任务集与总成本
自建任务集按真实流量和高风险加权，报告准确、完成、拒答和安全，而非单一平均分。延迟看首 Token 与总时长，成本按完整任务含重试、检索和人工计算，稳定性观察版本波动。
- 线上小流量验证离线结论
- 质量延迟成本形成取舍曲线
- 模型升级不自动覆盖旧版本
模型榜单用于候选初筛，真实任务集与失败成本决定选型。
按任务复杂度路由模型，并计算完整任务而非单次调用成本。
高风险、不可检测或不可恢复场景限制 AI 自主权。
KEY POINT
这节课最重要的结论
- 为什么重要
- 这决定了理解大模型的能力、限制和主要选型变量时，团队是否拥有一致、可验证的判断标准。
- 适用边界
- 当问题目标、数据来源或失败成本发生变化时，不要机械套用；先重新确认假设和风险等级。
EXAMPLES
正确案例与常见反例
客服系统用小模型分类路由，常规知识问答由中型模型加 RAG，复杂申诉才调用推理模型；退款执行仍由规则和人工确认。评测集按真实流量、高风险与无答案分层，比较首 Token、成功任务成本、隐私条款和供应降级。
团队依据一个英文公开榜单直接选择最大模型，全量处理中文短分类和高风险退款；只统计每 Token 单价，不算重试和人工。供应商升级后输出格式变化，没有固定版本、回归集或备用模型，业务被迫停摆。
“候选模型请在同一版本化任务集跑质量、拒答、安全、首 Token、总延迟和每成功任务成本。按 classify、answer、reason 三类路由；退款只给建议。接口做模型适配层、限额和 fallback，升级必须回归后灰度。”
HANDS-ON
必做实操任务
本节产出：“模型选型对比表与 AI 场景判断报告”阶段任务中的《模型类型、幻觉、基准、选型与能力边界》一页实践卡
步骤 1为一个场景列出通用、推理、小模型和非模型方案的适用任务。
步骤 2建立包含常见、长尾、高风险、对抗和无答案的模型选型任务集。
步骤 3计算单次调用与每成功任务成本，加入重试、检索、人工和基础设施。
步骤 4设计主模型超时、限流、质量下降和供应商不可用时的降级。
核心重点必须完成全部实践，并在测验中达到 80%，才能标记为掌握。
场景与用户价值：____
任务分层：简单____ 常规____ 复杂____ 高风险____
不使用 AI 基线：____
候选：模型/部署｜质量｜首 Token｜总延迟｜成功任务成本｜隐私｜稳定：____
任务集：常见____ 长尾____ 高风险____ 对抗____ 无答案____
失败：幻觉____ 过时____ 遗漏____ 计算____ 工具____
可检测：____ 可恢复：____ 用户影响：____
模型路由：____
版本与升级回归：____
超时、限流、fallback：____
最终选择：____
不适合使用 AI 或必须人工的边界：____CHECKLIST
产品经理工作检查表
MASTERY QUIZ
掌握测验
核心重点需达到 80% 才算掌握，未通过会进入错题本。
INTERVIEW
常见面试题
展开参考回答
先分层任务、成功标准和失败影响，建立规则、小模型与人工基线；用真实分布、长尾、高风险、对抗和无答案任务集评测质量、拒答与安全，测首 Token、总延迟和每成功任务成本，同时审查隐私、稳定与供应商退出。错误难检测、不可恢复的高风险动作限制自动化，其余按复杂度路由并设计版本、回归、灰度和降级。
RECAP & FURTHER READING
重点回顾、延伸阅读与下一步
- 1
围绕“模型类型、幻觉、基准、选型与能力边界”继续阅读：阅读模型或 AI 框架的官方概念文档，区分能力原理、评测条件与真实产品限制。
- 2
用“幻觉、模型基准、模型选型”作为检索词，分别写下一条定义、一条适用边界和一个反例。
- 3
对照本课正确案例与反例，寻找一个公开案例并记录其中可复用的判断与不能照搬的条件。