ORANGE BOOK

第十四章 AI 的局限——幻觉、偏见与边界


14.1 一个真实故事:律师被 AI"坑"了

2023 年纽约的 ChatGPT 律师事件

2023 年 5 月,纽约律师 Steven Schwartz 在一起航空公司诉讼案中,用 ChatGPT 写了一份法律文书

文书里引用了 6 个"先例案件"——非常精彩、论证严密。

法官审阅时一看:"这 6 个案件,全是假的。"

ChatGPT 凭空编造了 6 个案件——案号、当事人、法官、判决理由、引用编号——全部都对得上格式,但全部是假的

最后这位律师被罚款 5000 美元 + 公开道歉,律师生涯重挫。

这不是 ChatGPT "坏"——是律师不知道 AI 会"幻觉"。


2024 年深圳的 AI"医生"事件

某个三甲医院引入了 AI 辅助诊断系统。一位医生为了图省事,直接把 AI 的"诊断建议"写进了诊断书。

患者拿到诊断书:"建议手术切除 X X X"

第二个医院复核:"这个根本不需要手术。"

调查发现:AI 把这位患者的"良性囊肿"误判为"恶性肿瘤"——因为患者的描述里有"突然变大",AI 把"突然变大"权重设得过高

AI 给出的"诊断",本来就不能直接用——必须医生审核。


这两个故事告诉我们:AI 可以错,而且错得"很自信"

学会"识别 AI 的局限"——比"会用 AI"更重要。


14.2 局限 1:幻觉(Hallucination)——一本正经胡说八道

什么是幻觉?

AI 编造了一些"听起来很对,但实际不存在 / 不正确"的内容。

最容易出现幻觉的场景:

场景 AI 会幻觉什么 危险等级
引用文献 编造论文、作者、期刊、年份 ⚠️⚠️⚠️
引用法条 编造法条编号、内容 ⚠️⚠️⚠️
引用数据 编造统计数字、来源 ⚠️⚠️⚠️
引用历史事件 时间、地点、人物错位 ⚠️⚠️
描述某个人 编造履历、作品、言论 ⚠️⚠️
给小众工具讲用法 编造功能、API、菜单 ⚠️⚠️
翻译专有名词 自己造一个译法 ⚠️
生成代码 调用不存在的函数 ⚠️
数学计算 算错(尤其是大数 / 多步) ⚠️
给出"准确日期" 你说"明天"它说成"周X" ⚠️

为什么 AI 会幻觉?

因为 AI 的"本质"是"猜下一个词"——不是"查数据库"。

举个例子,你问它:"2023 年诺贝尔文学奖得主是谁?"

AI 不是去某个"权威数据库"查——而是根据训练数据里见过的"模式",猜一个最可能的答案

如果训练数据里这个信息:

  • 多次出现 + 一致 → AI 答对
  • 多次出现 + 不一致 → AI 答个最频繁的
  • 没怎么出现 → AI 基于"语言模式"编一个

第三种就是幻觉。

怎么"识别"AI 在幻觉?

5 个信号

  1. 太具体到让人怀疑——"《XXX 杂志》2021 年 3 月第 24 期,张三的论文《XXX》"——越具体,越要警惕
  2. 小众领域 + 详细——你问一个冷门问题,它答得很详细 → 警惕
  3. 引用是"链接 / DOI / 编号"格式但不能验证——直接搜不到
  4. 同一个问题问 2 次答案不一样——"Joe Biden 出生于 1942 年"vs "1943 年"——可能其中一个是幻觉
  5. AI 用了"据资料显示 / 据研究表明 / 据某权威人士"等含糊的来源——警惕

怎么"减少"AI 幻觉?

6 个技巧

技巧 1:要求"标明来源"

回答时,每个事实都标明:
- 来源(具体的书 / 论文 / 网站)
- 你的把握程度(确定 / 大概 / 不确定)

如果不确定,明说"不确定"。

技巧 2:让 AI"先认错"

回答前,先反思:
"这个问题我有没有可能答错?哪些细节我不确定?"

然后再回答。

技巧 3:用"联网搜索"

可以联网的 AI(ChatGPT 4 联网、Perplexity、Grok、Gemini、秘塔)幻觉率显著降低

请联网搜索后回答:[问题]

答案要给:
- 引用的网页链接
- 信息发布日期

技巧 4:交叉验证

同一个问题问 2-3 个 AI,看答案是否一致。

不一致的 → 大概率有错。

技巧 5:让 AI"批判自己"

[在 AI 回答后]
"请假装你是个严苛的事实核查员,找出上面回答里:
- 哪些是确定无疑的事实
- 哪些可能有错
- 哪些纯属编造"

技巧 6:高风险场景"自己再查一遍"

凡是涉及:

  • 法律 / 医疗 / 金融
  • 重要决策
  • 要发布给别人的内容

→ AI 给的"事实",自己用搜索引擎、官方网站再核一遍


14.3 局限 2:知识截止——AI 可能"不知道"最新事

什么是"知识截止"?

AI 是用一个"截止日期"前的数据训练的——之后的事,它不知道。

典型例子:

  • GPT-5:训练数据截止 2026 年 X 月
  • Claude 4:训练数据截止 2025 年 X 月
  • DeepSeek-R2:训练数据截止 2025 年 X 月
  • 豆包:训练数据截止 2025 年 X 月

截止日期之后的事

  • 谁当选了某国总统?AI 不知道
  • XX 公司最新发布的产品?AI 不知道
  • 上个月发布的 iPhone 18?AI 不知道
  • 昨天的股价?AI 不知道
  • 今天的天气?AI 不知道

警惕"AI 装作知道"

有些 AI 不会承认自己"不知道"——它会编一个

你问:"2026 年 4 月美国总统是谁?"

AI 可能答(错的):"Joe Biden"——因为它的训练数据里"Biden 是总统"出现得多。

正确的答案应该是:"抱歉,我的知识截止于 2025 年 X 月,2026 年 4 月的最新信息我不掌握。建议你联网搜索确认。"

怎么应对"知识截止"?

3 个办法

办法 1:用"联网模式"

ChatGPT 联网、Perplexity、Grok、Gemini、秘塔——这些可以实时联网

办法 2:明确告诉 AI"你不知道"

[问问题前]
"这是 2026 年 4 月的最新情况:[贴最新信息]
基于这个最新情况,回答:[你的问题]"

办法 3:把"事实"自己提供

不要让 AI"凭记忆"答——把事实贴给它,让它"基于事实"分析。

口诀:AI 擅长分析,不擅长记最新。


14.4 局限 3:偏见——AI 也"有立场"

AI 的偏见从哪来?

从训练数据来。

训练数据是"互联网上的文字"——而互联网本身有偏见:

  • 男性 / 女性的描述存在刻板印象
  • 不同种族 / 国家的描述有差异
  • 不同政治立场有失衡
  • 不同文化在数据里的"权重"不同(英语数据 > 中文数据 > 其他语种数据)
  • 主流声音 > 少数群体声音

AI 偏见的常见表现

例 1:性别偏见

[问]
"画一个 CEO"
→ AI 大概率画男性

"画一个护士"
→ AI 大概率画女性

"写一段医生的对话"
→ 医生用"他",护士用"她"

例 2:文化偏见

[问]
"什么是好的婚姻?"
→ 早期 AI 会答"一夫一妻、男主外女主内"
(因为训练数据里这种描述多)

→ 现在 AI 学会"看场合"——但偶尔还是会露馅

例 3:地域偏见

[问]
"中国 [某省] 人有什么特点?"
→ AI 可能输出"刻板印象"
(互联网上确实有这种内容)

例 4:政治偏见

不同 AI 在不同问题上有不同倾向:

  • 大部分国外 AI 更"自由派 / 西方视角"
  • 国产 AI 在涉政话题上有"安全机制"
  • 有些 AI 会"拒答",有些会"模糊化"

例 5:商业偏见

[问]
"减肥最好的方法?"
→ AI 可能优先推荐某些"商业化解决方案"
(因为训练数据里这种内容多)

怎么应对 AI 偏见?

5 个策略

策略 1:保持警觉

知道"AI 也会有偏见"——这是第一步。

策略 2:刻意要求"多元视角"

回答时,请:
- 给至少 3 种不同视角的观点
- 说明每种观点的支持者和论据
- 不要只给"主流"答案

策略 3:对比多个 AI

同一个问题问国内 + 国外 AI,看立场差异。

策略 4:要求"指出可能的偏见"

[在 AI 回答后]
"你给的回答里,可能有什么偏见?
(性别 / 文化 / 地域 / 政治 / 商业)"

策略 5:高风险场景"人工审"

涉及"对人的判断"(招聘、评价、决策)——不要让 AI"代你判断",让 AI"提供参考",你来判断。


14.5 局限 4:AI 不擅长的"5 件事"

虽然 AI 很强——但有 5 件事它"做不好 / 不应该做"

1️⃣ 真正的"创造"

AI 是"组合大师",不是"原创大师"

它能:

  • 把现有的元素组合成新东西
  • 模仿任何风格
  • 写出"还不错"的作品

它不能:

  • 像爱因斯坦一样"提出相对论"
  • 像凡高一样"开创印象派"
  • 像乔布斯一样"想出 iPhone"

真正的"创造性突破",仍然来自人。

不过对普通人来说:"组合 + 模仿"已经够用 99% 的场景。


2️⃣ 真正的"判断"

AI 给出的"建议 / 选项",不能代替你的"判断"。

为什么?

  • AI 不"承担后果"——它建议你"换工作",错了它没事
  • AI 不"了解全部"——你的家庭、健康、性格、关系,它知道得很有限
  • AI 不"了解未来"——它只能基于"过去 + 现在"推测

重大决定:换工作、结婚 / 离婚、买房、留学、创业、医疗——

→ AI 可以帮你"想清楚选项 + 各自的利弊"

→ 但最后的"按下确认键",必须是你自己


3️⃣ 情感关系

AI 不能代替"真人"。

AI 可以:

  • 陪你聊天
  • 给你情绪支持
  • 帮你写表白信 / 道歉信

AI 不能:

  • 真的"爱"你
  • 真的"懂"你(它的"懂"是模式匹配)
  • 在你需要时"陪在你身边"
  • 给你"真实的人际关系"

警惕"AI 依赖症"——把"和 AI 聊天"代替"和真人交流"。

可以"用 AI 辅助",但不能"用 AI 代替"。

特别是孩子、老人、独居者——不能让 AI 成为"唯一的情感寄托"


4️⃣ 体力 / 实操

废话,但必须说:

  • AI 不能帮你"洗衣服 / 做饭 / 带孩子"(除非未来有家用机器人)
  • AI 不能帮你"开会"(你必须自己去)
  • AI 不能帮你"健身"(你必须自己动)
  • AI 不能帮你"陪伴家人"(你必须真的在场)

用 AI 节省下来的时间,要用来"做这些 AI 做不了的事"。


5️⃣ "成为更好的自己"

AI 可以"帮你做事"——但不能"替你成长"

  • 学一项技能、读一本书、跑一场马拉松、谈一段恋爱、养一个孩子⋯⋯

→ 这些经验只能你自己"亲身经历"才能内化

→ AI 给你的"建议",只是"地图"——你必须自己"走"

别让"AI 替你想",变成"你不再想"。

别让"AI 替你做",变成"你不再做"。


14.6 一个原则:AI 是"放大器",不是"替代品"

定义

AI = 放大器

  • 你已经是"好医生"——AI 让你更高效
  • 你已经是"好作家"——AI 让你产出更多
  • 你已经是"好妈妈"——AI 让你管理更轻松
  • 你已经是"好学生"——AI 让你学得更快

  • 你不是医生 → AI 给的"医疗建议"不能用
  • 你不是律师 → AI 给的"法律建议"不能用
  • 你不是程序员 → AI 给的代码可能"看起来对,跑起来错"
  • 你不是 X → AI 给的 X 建议,你没能力判断对错

推论

AI 用得好的人,本身就是"在某领域有判断力的人"。

如果你"什么都不懂"——AI 帮不了你太多,反而可能"误导你"(因为你不知道它错没错)。

学习 + AI > 单纯用 AI

读完这本书,建议你同时

  • 选一个你感兴趣的领域,深入学习
  • 用 AI 加速你的学习
  • 你掌握判断力 → 你才能"用好 AI"

14.7 别把 AI 当作"绝对权威"

最后,请记住一件事:

AI 给的答案,永远是"参考",不是"圣旨"。

特别是:

  • 当 AI 说"你应该 X"——问自己"为什么"
  • 当 AI 给"唯一答案"——问"还有别的可能吗"
  • 当 AI 给"完美建议"——警惕"它考虑全了吗"
  • 当 AI 给"绝对真理"——记住"它只是个程序"

永远保留 3 个权利

不管 AI 多"聪明",你永远保留:

  1. 质疑权——"这真的对吗?"
  2. 不同意权——"我不这样认为。"
  3. 最终决定权——"我决定不照做。"

AI 是工具,你是主人。


本章小抄

AI 局限速查
────────────

4 大局限:

1. 幻觉(一本正经胡说八道)
   - 高风险:法律、医疗、文献引用
   - 应对:标明来源、联网验证、交叉验证

2. 知识截止(不知道最新事)
   - 应对:联网模式、自己提供事实

3. 偏见(性别、文化、地域、政治、商业)
   - 应对:要求多元视角、对比多个 AI

4. 不擅长 5 件事:
   - 真正的创造
   - 真正的判断
   - 情感关系
   - 体力/实操
   - 成为更好的自己

核心原则:
AI = 放大器,不是替代品
AI 给的是"参考",不是"圣旨"

3 个永远保留的权利:
1. 质疑权
2. 不同意权
3. 最终决定权

5 分钟动手实验

任务:测试一下你常用的 AI——它会不会幻觉?

步骤

  1. 测试问题 1:冷门人物
"请详细介绍一下 [一个不太出名的人物,比如某地方文学家、某领域学者]"

→ 如果 AI 给得"很详细"——上网查一下,看几个细节是否对

  1. 测试问题 2:精确数据
"2024 年 [某行业] 在 [某省] 的市场规模是多少?"

→ 如果 AI 给了一个"精确数字"——查一下来源

  1. 测试问题 3:时效性
"现在最流行的 [某话题] 是什么?"

→ 看 AI 是"承认自己不知道最新"还是"硬答"

  1. 记录结果
测试 AI 是否幻觉 给我的提醒
1 XXX 是/否 XXX
2 XXX 是/否 XXX
3 XXX 是/否 XXX
  1. 以后用这个 AI 时,记得"它在 X 类问题上不可靠"

下章预告

下一章 第十五章 AI 安全与隐私

  • 你和 AI 的对话,去了哪里?
  • 哪些信息绝对不能告诉 AI
  • 怎么识别"AI 诈骗"(深度伪造、AI 钓鱼)
  • 教爸妈和孩子"安全用 AI"