14.1 一个真实故事:律师被 AI"坑"了
2023 年纽约的 ChatGPT 律师事件
2023 年 5 月,纽约律师 Steven Schwartz 在一起航空公司诉讼案中,用 ChatGPT 写了一份法律文书。
文书里引用了 6 个"先例案件"——非常精彩、论证严密。
法官审阅时一看:"这 6 个案件,全是假的。"
ChatGPT 凭空编造了 6 个案件——案号、当事人、法官、判决理由、引用编号——全部都对得上格式,但全部是假的。
最后这位律师被罚款 5000 美元 + 公开道歉,律师生涯重挫。
这不是 ChatGPT "坏"——是律师不知道 AI 会"幻觉"。
2024 年深圳的 AI"医生"事件
某个三甲医院引入了 AI 辅助诊断系统。一位医生为了图省事,直接把 AI 的"诊断建议"写进了诊断书。
患者拿到诊断书:"建议手术切除 X X X"
第二个医院复核:"这个根本不需要手术。"
调查发现:AI 把这位患者的"良性囊肿"误判为"恶性肿瘤"——因为患者的描述里有"突然变大",AI 把"突然变大"权重设得过高。
AI 给出的"诊断",本来就不能直接用——必须医生审核。
这两个故事告诉我们:AI 可以错,而且错得"很自信"。
学会"识别 AI 的局限"——比"会用 AI"更重要。
14.2 局限 1:幻觉(Hallucination)——一本正经胡说八道
什么是幻觉?
AI 编造了一些"听起来很对,但实际不存在 / 不正确"的内容。
最容易出现幻觉的场景:
| 场景 | AI 会幻觉什么 | 危险等级 |
|---|---|---|
| 引用文献 | 编造论文、作者、期刊、年份 | ⚠️⚠️⚠️ |
| 引用法条 | 编造法条编号、内容 | ⚠️⚠️⚠️ |
| 引用数据 | 编造统计数字、来源 | ⚠️⚠️⚠️ |
| 引用历史事件 | 时间、地点、人物错位 | ⚠️⚠️ |
| 描述某个人 | 编造履历、作品、言论 | ⚠️⚠️ |
| 给小众工具讲用法 | 编造功能、API、菜单 | ⚠️⚠️ |
| 翻译专有名词 | 自己造一个译法 | ⚠️ |
| 生成代码 | 调用不存在的函数 | ⚠️ |
| 数学计算 | 算错(尤其是大数 / 多步) | ⚠️ |
| 给出"准确日期" | 你说"明天"它说成"周X" | ⚠️ |
为什么 AI 会幻觉?
因为 AI 的"本质"是"猜下一个词"——不是"查数据库"。
举个例子,你问它:"2023 年诺贝尔文学奖得主是谁?"
AI 不是去某个"权威数据库"查——而是根据训练数据里见过的"模式",猜一个最可能的答案。
如果训练数据里这个信息:
- 多次出现 + 一致 → AI 答对
- 多次出现 + 不一致 → AI 答个最频繁的
- 没怎么出现 → AI 基于"语言模式"编一个
第三种就是幻觉。
怎么"识别"AI 在幻觉?
5 个信号:
- 太具体到让人怀疑——"《XXX 杂志》2021 年 3 月第 24 期,张三的论文《XXX》"——越具体,越要警惕
- 小众领域 + 详细——你问一个冷门问题,它答得很详细 → 警惕
- 引用是"链接 / DOI / 编号"格式但不能验证——直接搜不到
- 同一个问题问 2 次答案不一样——"Joe Biden 出生于 1942 年"vs "1943 年"——可能其中一个是幻觉
- AI 用了"据资料显示 / 据研究表明 / 据某权威人士"等含糊的来源——警惕
怎么"减少"AI 幻觉?
6 个技巧:
技巧 1:要求"标明来源"
回答时,每个事实都标明:
- 来源(具体的书 / 论文 / 网站)
- 你的把握程度(确定 / 大概 / 不确定)
如果不确定,明说"不确定"。
技巧 2:让 AI"先认错"
回答前,先反思:
"这个问题我有没有可能答错?哪些细节我不确定?"
然后再回答。
技巧 3:用"联网搜索"
可以联网的 AI(ChatGPT 4 联网、Perplexity、Grok、Gemini、秘塔)幻觉率显著降低。
请联网搜索后回答:[问题]
答案要给:
- 引用的网页链接
- 信息发布日期
技巧 4:交叉验证
同一个问题问 2-3 个 AI,看答案是否一致。
不一致的 → 大概率有错。
技巧 5:让 AI"批判自己"
[在 AI 回答后]
"请假装你是个严苛的事实核查员,找出上面回答里:
- 哪些是确定无疑的事实
- 哪些可能有错
- 哪些纯属编造"
技巧 6:高风险场景"自己再查一遍"
凡是涉及:
- 法律 / 医疗 / 金融
- 重要决策
- 要发布给别人的内容
→ AI 给的"事实",自己用搜索引擎、官方网站再核一遍。
14.3 局限 2:知识截止——AI 可能"不知道"最新事
什么是"知识截止"?
AI 是用一个"截止日期"前的数据训练的——之后的事,它不知道。
典型例子:
- GPT-5:训练数据截止 2026 年 X 月
- Claude 4:训练数据截止 2025 年 X 月
- DeepSeek-R2:训练数据截止 2025 年 X 月
- 豆包:训练数据截止 2025 年 X 月
截止日期之后的事:
- 谁当选了某国总统?AI 不知道
- XX 公司最新发布的产品?AI 不知道
- 上个月发布的 iPhone 18?AI 不知道
- 昨天的股价?AI 不知道
- 今天的天气?AI 不知道
警惕"AI 装作知道"
有些 AI 不会承认自己"不知道"——它会编一个。
你问:"2026 年 4 月美国总统是谁?"
AI 可能答(错的):"Joe Biden"——因为它的训练数据里"Biden 是总统"出现得多。
正确的答案应该是:"抱歉,我的知识截止于 2025 年 X 月,2026 年 4 月的最新信息我不掌握。建议你联网搜索确认。"
怎么应对"知识截止"?
3 个办法:
办法 1:用"联网模式"
ChatGPT 联网、Perplexity、Grok、Gemini、秘塔——这些可以实时联网。
办法 2:明确告诉 AI"你不知道"
[问问题前]
"这是 2026 年 4 月的最新情况:[贴最新信息]
基于这个最新情况,回答:[你的问题]"
办法 3:把"事实"自己提供
不要让 AI"凭记忆"答——把事实贴给它,让它"基于事实"分析。
口诀:AI 擅长分析,不擅长记最新。
14.4 局限 3:偏见——AI 也"有立场"
AI 的偏见从哪来?
从训练数据来。
训练数据是"互联网上的文字"——而互联网本身有偏见:
- 男性 / 女性的描述存在刻板印象
- 不同种族 / 国家的描述有差异
- 不同政治立场有失衡
- 不同文化在数据里的"权重"不同(英语数据 > 中文数据 > 其他语种数据)
- 主流声音 > 少数群体声音
AI 偏见的常见表现
例 1:性别偏见
[问]
"画一个 CEO"
→ AI 大概率画男性
"画一个护士"
→ AI 大概率画女性
"写一段医生的对话"
→ 医生用"他",护士用"她"
例 2:文化偏见
[问]
"什么是好的婚姻?"
→ 早期 AI 会答"一夫一妻、男主外女主内"
(因为训练数据里这种描述多)
→ 现在 AI 学会"看场合"——但偶尔还是会露馅
例 3:地域偏见
[问]
"中国 [某省] 人有什么特点?"
→ AI 可能输出"刻板印象"
(互联网上确实有这种内容)
例 4:政治偏见
不同 AI 在不同问题上有不同倾向:
- 大部分国外 AI 更"自由派 / 西方视角"
- 国产 AI 在涉政话题上有"安全机制"
- 有些 AI 会"拒答",有些会"模糊化"
例 5:商业偏见
[问]
"减肥最好的方法?"
→ AI 可能优先推荐某些"商业化解决方案"
(因为训练数据里这种内容多)
怎么应对 AI 偏见?
5 个策略:
策略 1:保持警觉
知道"AI 也会有偏见"——这是第一步。
策略 2:刻意要求"多元视角"
回答时,请:
- 给至少 3 种不同视角的观点
- 说明每种观点的支持者和论据
- 不要只给"主流"答案
策略 3:对比多个 AI
同一个问题问国内 + 国外 AI,看立场差异。
策略 4:要求"指出可能的偏见"
[在 AI 回答后]
"你给的回答里,可能有什么偏见?
(性别 / 文化 / 地域 / 政治 / 商业)"
策略 5:高风险场景"人工审"
涉及"对人的判断"(招聘、评价、决策)——不要让 AI"代你判断",让 AI"提供参考",你来判断。
14.5 局限 4:AI 不擅长的"5 件事"
虽然 AI 很强——但有 5 件事它"做不好 / 不应该做"。
1️⃣ 真正的"创造"
AI 是"组合大师",不是"原创大师"。
它能:
- 把现有的元素组合成新东西
- 模仿任何风格
- 写出"还不错"的作品
它不能:
- 像爱因斯坦一样"提出相对论"
- 像凡高一样"开创印象派"
- 像乔布斯一样"想出 iPhone"
真正的"创造性突破",仍然来自人。
不过对普通人来说:"组合 + 模仿"已经够用 99% 的场景。
2️⃣ 真正的"判断"
AI 给出的"建议 / 选项",不能代替你的"判断"。
为什么?
- AI 不"承担后果"——它建议你"换工作",错了它没事
- AI 不"了解全部"——你的家庭、健康、性格、关系,它知道得很有限
- AI 不"了解未来"——它只能基于"过去 + 现在"推测
重大决定:换工作、结婚 / 离婚、买房、留学、创业、医疗——
→ AI 可以帮你"想清楚选项 + 各自的利弊"
→ 但最后的"按下确认键",必须是你自己
3️⃣ 情感关系
AI 不能代替"真人"。
AI 可以:
- 陪你聊天
- 给你情绪支持
- 帮你写表白信 / 道歉信
AI 不能:
- 真的"爱"你
- 真的"懂"你(它的"懂"是模式匹配)
- 在你需要时"陪在你身边"
- 给你"真实的人际关系"
警惕"AI 依赖症"——把"和 AI 聊天"代替"和真人交流"。
可以"用 AI 辅助",但不能"用 AI 代替"。
特别是孩子、老人、独居者——不能让 AI 成为"唯一的情感寄托"。
4️⃣ 体力 / 实操
废话,但必须说:
- AI 不能帮你"洗衣服 / 做饭 / 带孩子"(除非未来有家用机器人)
- AI 不能帮你"开会"(你必须自己去)
- AI 不能帮你"健身"(你必须自己动)
- AI 不能帮你"陪伴家人"(你必须真的在场)
用 AI 节省下来的时间,要用来"做这些 AI 做不了的事"。
5️⃣ "成为更好的自己"
AI 可以"帮你做事"——但不能"替你成长"。
- 学一项技能、读一本书、跑一场马拉松、谈一段恋爱、养一个孩子⋯⋯
→ 这些经验只能你自己"亲身经历"才能内化
→ AI 给你的"建议",只是"地图"——你必须自己"走"
别让"AI 替你想",变成"你不再想"。
别让"AI 替你做",变成"你不再做"。
14.6 一个原则:AI 是"放大器",不是"替代品"
定义
AI = 放大器
- 你已经是"好医生"——AI 让你更高效
- 你已经是"好作家"——AI 让你产出更多
- 你已经是"好妈妈"——AI 让你管理更轻松
- 你已经是"好学生"——AI 让你学得更快
但:
- 你不是医生 → AI 给的"医疗建议"不能用
- 你不是律师 → AI 给的"法律建议"不能用
- 你不是程序员 → AI 给的代码可能"看起来对,跑起来错"
- 你不是 X → AI 给的 X 建议,你没能力判断对错
推论
AI 用得好的人,本身就是"在某领域有判断力的人"。
如果你"什么都不懂"——AI 帮不了你太多,反而可能"误导你"(因为你不知道它错没错)。
学习 + AI > 单纯用 AI
读完这本书,建议你同时:
- 选一个你感兴趣的领域,深入学习
- 用 AI 加速你的学习
- 你掌握判断力 → 你才能"用好 AI"
14.7 别把 AI 当作"绝对权威"
最后,请记住一件事:
AI 给的答案,永远是"参考",不是"圣旨"。
特别是:
- 当 AI 说"你应该 X"——问自己"为什么"
- 当 AI 给"唯一答案"——问"还有别的可能吗"
- 当 AI 给"完美建议"——警惕"它考虑全了吗"
- 当 AI 给"绝对真理"——记住"它只是个程序"
永远保留 3 个权利
不管 AI 多"聪明",你永远保留:
- 质疑权——"这真的对吗?"
- 不同意权——"我不这样认为。"
- 最终决定权——"我决定不照做。"
AI 是工具,你是主人。
本章小抄
AI 局限速查
────────────
4 大局限:
1. 幻觉(一本正经胡说八道)
- 高风险:法律、医疗、文献引用
- 应对:标明来源、联网验证、交叉验证
2. 知识截止(不知道最新事)
- 应对:联网模式、自己提供事实
3. 偏见(性别、文化、地域、政治、商业)
- 应对:要求多元视角、对比多个 AI
4. 不擅长 5 件事:
- 真正的创造
- 真正的判断
- 情感关系
- 体力/实操
- 成为更好的自己
核心原则:
AI = 放大器,不是替代品
AI 给的是"参考",不是"圣旨"
3 个永远保留的权利:
1. 质疑权
2. 不同意权
3. 最终决定权
5 分钟动手实验
任务:测试一下你常用的 AI——它会不会幻觉?
步骤:
- 测试问题 1:冷门人物
"请详细介绍一下 [一个不太出名的人物,比如某地方文学家、某领域学者]"
→ 如果 AI 给得"很详细"——上网查一下,看几个细节是否对
- 测试问题 2:精确数据
"2024 年 [某行业] 在 [某省] 的市场规模是多少?"
→ 如果 AI 给了一个"精确数字"——查一下来源
- 测试问题 3:时效性
"现在最流行的 [某话题] 是什么?"
→ 看 AI 是"承认自己不知道最新"还是"硬答"
- 记录结果:
| 测试 | AI | 是否幻觉 | 给我的提醒 |
|---|---|---|---|
| 1 | XXX | 是/否 | XXX |
| 2 | XXX | 是/否 | XXX |
| 3 | XXX | 是/否 | XXX |
- 以后用这个 AI 时,记得"它在 X 类问题上不可靠"
下章预告
下一章 第十五章 AI 安全与隐私:
- 你和 AI 的对话,去了哪里?
- 哪些信息绝对不能告诉 AI
- 怎么识别"AI 诈骗"(深度伪造、AI 钓鱼)
- 教爸妈和孩子"安全用 AI"