2.1 先把屁股摆正:这不是"二选一"
如果你看完这章带走一个结论,请带走这个:
对绝大多数普通用户来说,本地 AI 是云端 AI 的"补充",不是"替代"。
什么叫补充?
- 90% 的日常需求继续在云端解决(写邮件、查资料、做 PPT 大纲、聊聊天)
- 10% 的敏感、离线、定制需求交给本地(合同、日记、客户名单、出差路上、家庭知识库)
所以本章的"对比",不是为了让你选边站队,而是为了让你知道每件事该用哪一边。
2.2 13 维度对比表
下面这张表是这本书的"中央情报枢纽",建议截图保存:
| 维度 | 云端 AI | 本地 AI | 谁赢 |
|---|---|---|---|
| 隐私 | 数据上传到厂商,可能用于训练 / 留存 | 数据完全不出本机 | 本地 |
| 断网可用 | 不行(除少量 App 缓存) | 行,飞机/地铁/出国都能用 | 本地 |
| 响应速度 | 网络好时极快,弱网时挂 | 不依赖网络,但受电脑性能限制 | 视情况 |
| 首次成本 | 0 元,有免费额度 | 1.5–5 万元(一台合适的电脑) | 云端 |
| 长期月成本 | 60–150 元/月(订阅) | 0 元(电费忽略) | 本地 |
| 智能上限 | 当前最强(GPT-5、Claude 4.5、Gemini 2.5) | 受电脑限制,70B 模型已经接近顶级 | 云端 |
| 可定制性 | 极有限(只能改 System Prompt) | 全部可定制:模型、提示词、温度、上下文长度 | 本地 |
| 学习成本 | 0:注册账号就能用 | 1–2 小时:装 Ollama + LM Studio | 云端 |
| 内容审查 | 严格,敏感话题会被拒 | 几乎无限制,看模型本身 | 本地 |
| 多模态 | 图、视频、音频全到位 | 视觉/语音可以,视频生成基本不行 | 云端 |
| 联网搜索 | 内置 | 需要自己接(Ollama + SearXNG 等) | 云端 |
| 多设备同步 | 天然同步 | 自己搭(同步模型 / 同步对话历史) | 云端 |
| 合规风险 | 可能违反 GDPR / 中国《暂行办法》数据出境规定 | 数据不出本机,天然合规 | 本地 |
结论:你不可能两边全要——两者各有 6–7 项绝对优势,正好互补。
2.3 把上面的表翻译成人话
如果你不想看表格,可以记住这 7 句话:
- 怕泄露选本地,怕掉线选本地。
- 要最强大脑选云端,要最灵活定制选本地。
- 怕花钱(短期)选云端,怕花钱(长期)选本地。
- 要图生视频选云端,要文档处理选本地。
- 第一次用 AI 选云端(先尝甜头),第二次想"我能不能不用网"再选本地。
- 公司里写合同选本地,咖啡店里写朋友圈选云端。
- 国内合规要求严的行业(律师、医生、会计、HR、政务)选本地。
2.4 四类典型用户的"该不该上本地"决策
下面是四种最常见的用户画像。找到最像你的那一类,往下看。
用户 A:纯小白用户
你的画像:完全没用过本地 AI。云端 AI 也只是偶尔用一下豆包、ChatGPT。家里电脑是 5 年前买的,内存 8 GB,硬盘还剩 30 GB。
建议:暂时不上本地。
理由:
- 你的电脑硬件勉强能跑 3B 模型,但 3B 的体验和云端 AI 差距非常大,你大概率会失望。
- 你对 AI 的需求还在"探索期"——不知道自己要什么。先在云端把"AI 能干啥"搞清楚。
- 但你应该读完这本书——因为半年后你换了新电脑、或者想给爸妈装一个 AI、或者开始接触敏感工作时,你会需要这本书。
先做的事:把豆包、文小言、Kimi、DeepSeek 网页版都用熟。
用户 B:"我已经离不开 AI"的中度用户
你的画像:每天都用 ChatGPT/Claude/DeepSeek,有付费订阅。已经会写一些基本提示词。家里有一台 16 GB 的 Mac 或一台带独显的笔记本。
建议:50% 上本地。
理由:
- 你已经能感受到云端的痛点:弱网、内容审查、隐私顾虑、订阅费。
- 你的电脑能流畅跑 8B 模型,能应对 70% 的日常需求。
- 上本地能让你把"非敏感任务在云端 + 敏感任务在本地"这套混合用法跑起来。
先做的事:装 LM Studio 或 Ollama,下一个 Qwen 3 8B 试试。
用户 C:隐私敏感型用户
你的画像:律师、医生、HR、会计、心理咨询师、记者、独立审计、政务人员、企业内部审计……你的工作每天都在处理"绝对不能流出去"的内容。
建议:100% 上本地(高优先级)。
理由:
- 哪怕只有 1% 的概率被泄露,对你的职业生涯都是毁灭性的。
- 你日常处理的文档绝大多数是文本/PDF,本地 8B–32B 模型已经够用。
- 你愿意为"安心"投入硬件成本,而本地 AI 的硬件投入对比一次客户事故的赔偿,完全可以接受。
先做的事:跳到第四章 + 第十一章 + 第十六章,按这条路径搭一个"个人保密 AI 工作站"。
用户 D:技术好奇型用户
你的画像:开发者、运维、极客、AI 爱好者。家里有 RTX 4070 以上的台式机或 Mac Studio,硬盘空间足够。
建议:100% 上本地(探索优先)。
理由:
- 你能享受本地 AI 的全部乐趣——折腾、调参、接 API、做 Agent。
- 你的硬件能跑 32B 甚至 70B 模型,能体验到接近云端旗舰的效果。
- 你能贡献到社区,反哺到生态。
先做的事:跳到第六章 + 第九章 + 第十三章。
2.5 一图看完决策树
你日常用的 AI 涉及敏感信息吗?
│
├── 是(医疗、法律、HR、合同、家庭隐私)
│ │
│ └─→ 上本地。优先级最高。预算 1.5 万起。
│
└── 否
│
├── 你电脑内存有 16 GB+ 吗?
│ │
│ ├── 有
│ │ │
│ │ ├── 你愿意花一个周末折腾吗?
│ │ │ │
│ │ │ ├── 愿意 → 上本地(混合用法)
│ │ │ └── 不愿意 → 继续云端
│ │ │
│ │ └── 你常常断网吗?(出差、海外、客户内网)
│ │ │
│ │ ├── 是 → 上本地
│ │ └── 否 → 继续云端
│ │
│ └── 没有
│ │
│ └── 暂时继续云端。等下次换电脑时考虑本地。
│
└── 你想给老人/孩子搭一个"防广告防追踪"的 AI 吗?
│
└── 想 → 上本地(家庭 AI 路径)
2.6 混合方案:两边都要怎么搭
对中度以上用户,最聪明的做法是两边都用。下面是一套被多数本地 AI 老玩家验证过的"混合方案":
配置一:双账户思维
- 云端账户:保留 1 个付费云端 AI(比如 ChatGPT Plus 或 DeepSeek 会员)。处理"非敏感、要最强能力"的任务:复杂写作、深度思考、视频生成。
- 本地账户:在自己电脑上装 Ollama + LM Studio。处理"敏感、离线、低复杂度"的任务:日记、合同、私密邮件、出差时的所有任务。
配置二:场景路由
| 任务 | 应该用 |
|---|---|
| 写朋友圈、回评论、改文案 | 云端 |
| 记日记、写情书、写遗嘱 | 本地 |
| 总结公开新闻 | 云端 |
| 总结公司内部会议纪要 | 本地 |
| 搜索资料 / 做研究 | 云端(联网) |
| 查公司内部 SOP | 本地(知识库) |
| 写小说大纲 | 云端 |
| 写小说细节(不希望被训练) | 本地 |
| 让 AI 帮你 PPT 美化 | 云端 |
| 让 AI 帮你看 CT 报告 | 本地 |
| 翻译公开新闻 | 云端 |
| 翻译合同 / 投标书 | 本地 |
| 跟 AI 聊心理、情感、家事 | 本地 |
配置三:兜底心态
不要给本地 AI 设过高心理预期。它就像你家里那台备用车——平时不用,但偶尔停电、暴雨、出远门,它救你的命。
平时随便用云端,关键时刻有本地兜底——这就是混合方案的精髓。
2.7 几个常见疑问
疑问 1:"本地 AI 真的完全不上传任何东西吗?"
答:纯本地推理引擎(Ollama、llama.cpp)确实完全不上传。但要注意:
- 你装的"插件"或"前端 UI"可能会上传——选用 Open WebUI、Cherry Studio、AnythingLLM 这种开源方案,并且关闭它们的"使用情况统计"开关。
- 你给本地 AI 接的"联网搜索"、"工具调用"——这些会走外网,但走的是搜索引擎那一边,不是模型那一边。
疑问 2:"我用本地 AI 写出来的东西,质量真的不输云端吗?"
答:分场景。
- 中文写作:Qwen 3 8B–32B 几乎可以达到 GPT-4o 八九成水平。
- 英文写作:Llama 3.3 70B 在英文上接近 GPT-4o。
- 代码:Qwen 2.5 Coder 32B 已经接近 Claude 3.5 Sonnet 水平。
- 数学推理:DeepSeek-R1 7B 在数学题上甚至超过 GPT-4o。
- 多模态视觉:本地的 Qwen 2.5 VL、Llama 3.2 Vision 已经够用,但比 GPT-5 视觉差不少。
- 视频生成:本地基本不行,老老实实云端。
疑问 3:"我没有显卡,能上本地吗?"
答:能。
- Mac(任何 M 系列芯片)——天然适合,统一内存就是显存。
- Windows/Linux 笔记本无独显——可以跑 1B–3B 模型,慢但能跑。
- Windows/Linux 台式机带独显——按显存匹配,4–8 GB 显存能跑 7B Q4,12 GB 显存能跑 13B–14B Q4,24 GB 显存能跑 32B Q4 或 70B Q2。
具体看第三章。
疑问 4:"学本地 AI,会不会三个月就过时?"
答:会,但不严重。
- 模型在变:每 3–6 个月会有更强的开源模型。但你只需要重新下一个文件,工作流不变。
- 工具在变:Ollama、LM Studio 都向下兼容,老命令半年内基本不会失效。
- 核心思路不变:本书第 1、2、6、11、16 章讲的是底层逻辑,5 年内都成立。
学本地 AI 比学云端 AI 时间投入更高一点(多几小时),但收益期更长——你不会因为某个公司涨价、被禁、被卷死而失去你的 AI。
2.8 本章小练习
练习 1:填一张你自己的"任务路由表"
抄下面这张表,针对你自己最常用的 10 件 AI 任务填一遍。
| 我常做的任务 | 是否敏感 | 应该用 |
|---|---|---|
| 例:回复客户邮件 | 中 | 本地 |
| 例:查英文论文 | 低 | 云端 |
| ... | ... | ... |
练习 2:算一笔账
打开你订阅的所有云端 AI 的账单,算一下:
- 你每月在 AI 上花了多少?
- 假设 12 个月不变,一年是多少?
- 如果你买一台 1.5 万元的 Mac mini 32 GB,多久能"回本"?
这道题没有标准答案,但能帮你看清"本地 AI 是不是真的便宜"。
练习 3:找一项"绝对不能上传"的任务
回想你过去一周里,有没有一件事是"我用 AI 处理过,但其实有点担心被泄露"?
写下来。这件事就是你接下来上本地 AI 的"动机锚点"。每次想偷懒回到云端时,看看这个锚点。
2.9 一句话记住
本地 AI 不是来替代云端的,它是来当你的"安全网"和"自留地"的。
下一章 第三章 · 你的电脑能跑本地AI吗 3分钟自检,我们打开你的电脑,看看它属于哪一档、能跑什么、不能跑什么。