ORANGE BOOK · LOCAL AI

第二章 本地 AI 对比云端 AI——到底该选哪个

2.1 先把屁股摆正:这不是"二选一"

如果你看完这章带走一个结论,请带走这个:

对绝大多数普通用户来说,本地 AI 是云端 AI 的"补充",不是"替代"。

什么叫补充?

  • 90% 的日常需求继续在云端解决(写邮件、查资料、做 PPT 大纲、聊聊天)
  • 10% 的敏感、离线、定制需求交给本地(合同、日记、客户名单、出差路上、家庭知识库)

所以本章的"对比",不是为了让你选边站队,而是为了让你知道每件事该用哪一边

2.2 13 维度对比表

下面这张表是这本书的"中央情报枢纽",建议截图保存:

维度 云端 AI 本地 AI 谁赢
隐私 数据上传到厂商,可能用于训练 / 留存 数据完全不出本机 本地
断网可用 不行(除少量 App 缓存) 行,飞机/地铁/出国都能用 本地
响应速度 网络好时极快,弱网时挂 不依赖网络,但受电脑性能限制 视情况
首次成本 0 元,有免费额度 1.5–5 万元(一台合适的电脑) 云端
长期月成本 60–150 元/月(订阅) 0 元(电费忽略) 本地
智能上限 当前最强(GPT-5、Claude 4.5、Gemini 2.5) 受电脑限制,70B 模型已经接近顶级 云端
可定制性 极有限(只能改 System Prompt) 全部可定制:模型、提示词、温度、上下文长度 本地
学习成本 0:注册账号就能用 1–2 小时:装 Ollama + LM Studio 云端
内容审查 严格,敏感话题会被拒 几乎无限制,看模型本身 本地
多模态 图、视频、音频全到位 视觉/语音可以,视频生成基本不行 云端
联网搜索 内置 需要自己接(Ollama + SearXNG 等) 云端
多设备同步 天然同步 自己搭(同步模型 / 同步对话历史) 云端
合规风险 可能违反 GDPR / 中国《暂行办法》数据出境规定 数据不出本机,天然合规 本地

结论:你不可能两边全要——两者各有 6–7 项绝对优势,正好互补。

2.3 把上面的表翻译成人话

如果你不想看表格,可以记住这 7 句话:

  1. 怕泄露选本地,怕掉线选本地。
  2. 要最强大脑选云端,要最灵活定制选本地。
  3. 怕花钱(短期)选云端,怕花钱(长期)选本地。
  4. 要图生视频选云端,要文档处理选本地。
  5. 第一次用 AI 选云端(先尝甜头),第二次想"我能不能不用网"再选本地。
  6. 公司里写合同选本地,咖啡店里写朋友圈选云端。
  7. 国内合规要求严的行业(律师、医生、会计、HR、政务)选本地。

2.4 四类典型用户的"该不该上本地"决策

下面是四种最常见的用户画像。找到最像你的那一类,往下看

用户 A:纯小白用户

你的画像:完全没用过本地 AI。云端 AI 也只是偶尔用一下豆包、ChatGPT。家里电脑是 5 年前买的,内存 8 GB,硬盘还剩 30 GB。

建议:暂时不上本地。

理由:

  1. 你的电脑硬件勉强能跑 3B 模型,但 3B 的体验和云端 AI 差距非常大,你大概率会失望。
  2. 你对 AI 的需求还在"探索期"——不知道自己要什么。先在云端把"AI 能干啥"搞清楚。
  3. 但你应该读完这本书——因为半年后你换了新电脑、或者想给爸妈装一个 AI、或者开始接触敏感工作时,你会需要这本书。

先做的事:把豆包、文小言、Kimi、DeepSeek 网页版都用熟。

用户 B:"我已经离不开 AI"的中度用户

你的画像:每天都用 ChatGPT/Claude/DeepSeek,有付费订阅。已经会写一些基本提示词。家里有一台 16 GB 的 Mac 或一台带独显的笔记本。

建议:50% 上本地。

理由:

  1. 你已经能感受到云端的痛点:弱网、内容审查、隐私顾虑、订阅费。
  2. 你的电脑能流畅跑 8B 模型,能应对 70% 的日常需求。
  3. 上本地能让你把"非敏感任务在云端 + 敏感任务在本地"这套混合用法跑起来。

先做的事:装 LM Studio 或 Ollama,下一个 Qwen 3 8B 试试。

用户 C:隐私敏感型用户

你的画像:律师、医生、HR、会计、心理咨询师、记者、独立审计、政务人员、企业内部审计……你的工作每天都在处理"绝对不能流出去"的内容。

建议:100% 上本地(高优先级)。

理由:

  1. 哪怕只有 1% 的概率被泄露,对你的职业生涯都是毁灭性的。
  2. 你日常处理的文档绝大多数是文本/PDF,本地 8B–32B 模型已经够用。
  3. 你愿意为"安心"投入硬件成本,而本地 AI 的硬件投入对比一次客户事故的赔偿,完全可以接受。

先做的事:跳到第四章 + 第十一章 + 第十六章,按这条路径搭一个"个人保密 AI 工作站"。

用户 D:技术好奇型用户

你的画像:开发者、运维、极客、AI 爱好者。家里有 RTX 4070 以上的台式机或 Mac Studio,硬盘空间足够。

建议:100% 上本地(探索优先)。

理由:

  1. 你能享受本地 AI 的全部乐趣——折腾、调参、接 API、做 Agent。
  2. 你的硬件能跑 32B 甚至 70B 模型,能体验到接近云端旗舰的效果。
  3. 你能贡献到社区,反哺到生态。

先做的事:跳到第六章 + 第九章 + 第十三章。

2.5 一图看完决策树

你日常用的 AI 涉及敏感信息吗?
│
├── 是(医疗、法律、HR、合同、家庭隐私)
│    │
│    └─→ 上本地。优先级最高。预算 1.5 万起。
│
└── 否
     │
     ├── 你电脑内存有 16 GB+ 吗?
     │    │
     │    ├── 有
     │    │    │
     │    │    ├── 你愿意花一个周末折腾吗?
     │    │    │    │
     │    │    │    ├── 愿意 → 上本地(混合用法)
     │    │    │    └── 不愿意 → 继续云端
     │    │    │
     │    │    └── 你常常断网吗?(出差、海外、客户内网)
     │    │         │
     │    │         ├── 是 → 上本地
     │    │         └── 否 → 继续云端
     │    │
     │    └── 没有
     │         │
     │         └── 暂时继续云端。等下次换电脑时考虑本地。
     │
     └── 你想给老人/孩子搭一个"防广告防追踪"的 AI 吗?
          │
          └── 想 → 上本地(家庭 AI 路径)

2.6 混合方案:两边都要怎么搭

对中度以上用户,最聪明的做法是两边都用。下面是一套被多数本地 AI 老玩家验证过的"混合方案":

配置一:双账户思维

  • 云端账户:保留 1 个付费云端 AI(比如 ChatGPT Plus 或 DeepSeek 会员)。处理"非敏感、要最强能力"的任务:复杂写作、深度思考、视频生成。
  • 本地账户:在自己电脑上装 Ollama + LM Studio。处理"敏感、离线、低复杂度"的任务:日记、合同、私密邮件、出差时的所有任务。

配置二:场景路由

任务 应该用
写朋友圈、回评论、改文案 云端
记日记、写情书、写遗嘱 本地
总结公开新闻 云端
总结公司内部会议纪要 本地
搜索资料 / 做研究 云端(联网)
查公司内部 SOP 本地(知识库)
写小说大纲 云端
写小说细节(不希望被训练) 本地
让 AI 帮你 PPT 美化 云端
让 AI 帮你看 CT 报告 本地
翻译公开新闻 云端
翻译合同 / 投标书 本地
跟 AI 聊心理、情感、家事 本地

配置三:兜底心态

不要给本地 AI 设过高心理预期。它就像你家里那台备用车——平时不用,但偶尔停电、暴雨、出远门,它救你的命。

平时随便用云端,关键时刻有本地兜底——这就是混合方案的精髓。

2.7 几个常见疑问

疑问 1:"本地 AI 真的完全不上传任何东西吗?"

答:纯本地推理引擎(Ollama、llama.cpp)确实完全不上传。但要注意:

  • 你装的"插件"或"前端 UI"可能会上传——选用 Open WebUI、Cherry Studio、AnythingLLM 这种开源方案,并且关闭它们的"使用情况统计"开关
  • 你给本地 AI 接的"联网搜索"、"工具调用"——这些会走外网,但走的是搜索引擎那一边,不是模型那一边。

疑问 2:"我用本地 AI 写出来的东西,质量真的不输云端吗?"

答:分场景。

  • 中文写作:Qwen 3 8B–32B 几乎可以达到 GPT-4o 八九成水平。
  • 英文写作:Llama 3.3 70B 在英文上接近 GPT-4o。
  • 代码:Qwen 2.5 Coder 32B 已经接近 Claude 3.5 Sonnet 水平。
  • 数学推理:DeepSeek-R1 7B 在数学题上甚至超过 GPT-4o。
  • 多模态视觉:本地的 Qwen 2.5 VL、Llama 3.2 Vision 已经够用,但比 GPT-5 视觉差不少。
  • 视频生成:本地基本不行,老老实实云端。

疑问 3:"我没有显卡,能上本地吗?"

答:能。

  • Mac(任何 M 系列芯片)——天然适合,统一内存就是显存。
  • Windows/Linux 笔记本无独显——可以跑 1B–3B 模型,慢但能跑。
  • Windows/Linux 台式机带独显——按显存匹配,4–8 GB 显存能跑 7B Q4,12 GB 显存能跑 13B–14B Q4,24 GB 显存能跑 32B Q4 或 70B Q2。

具体看第三章。

疑问 4:"学本地 AI,会不会三个月就过时?"

答:会,但不严重。

  • 模型在变:每 3–6 个月会有更强的开源模型。但你只需要重新下一个文件,工作流不变。
  • 工具在变:Ollama、LM Studio 都向下兼容,老命令半年内基本不会失效。
  • 核心思路不变:本书第 1、2、6、11、16 章讲的是底层逻辑,5 年内都成立。

学本地 AI 比学云端 AI 时间投入更高一点(多几小时),但收益期更长——你不会因为某个公司涨价、被禁、被卷死而失去你的 AI。

2.8 本章小练习

练习 1:填一张你自己的"任务路由表"

抄下面这张表,针对你自己最常用的 10 件 AI 任务填一遍。

我常做的任务 是否敏感 应该用
例:回复客户邮件 本地
例:查英文论文 云端
... ... ...

练习 2:算一笔账

打开你订阅的所有云端 AI 的账单,算一下:

  • 你每月在 AI 上花了多少?
  • 假设 12 个月不变,一年是多少?
  • 如果你买一台 1.5 万元的 Mac mini 32 GB,多久能"回本"?

这道题没有标准答案,但能帮你看清"本地 AI 是不是真的便宜"。

练习 3:找一项"绝对不能上传"的任务

回想你过去一周里,有没有一件事是"我用 AI 处理过,但其实有点担心被泄露"?

写下来。这件事就是你接下来上本地 AI 的"动机锚点"。每次想偷懒回到云端时,看看这个锚点。

2.9 一句话记住

本地 AI 不是来替代云端的,它是来当你的"安全网"和"自留地"的。

下一章 第三章 · 你的电脑能跑本地AI吗 3分钟自检,我们打开你的电脑,看看它属于哪一档、能跑什么、不能跑什么。