永无岛
三个真实的小故事
故事一：那个律师把客户合同上传给了 AI
李姐是上海一家律所的合伙人，做了 20 年商事仲裁。2025 年底，她的助理小张接了个活——把一份 80 页的中外合资协议初稿"用 AI 整理一下要点"。
小张很麻利，把整份 PDF 拖进了某个市面上很热门的云端 AI 网页对话框，点了"总结"，五分钟后拿到一份漂亮的结构化摘要，交差。
三个月后，对方公司在另一个谈判里，突然引用了这份协议里只有他们双方知道的条款细节，连内部代号都念得一字不差。
李姐花了一周才确认：泄露不在公司内网，不在邮箱，不在打印机——而在那个对话框。AI 厂商的服务条款里写得清清楚楚："上传内容可能被用于改进模型"。她当然没读过，小张更没读过。
事后李姐做的第一件事，不是骂小张，而是给所长发了条消息："以后所有合同类材料，禁止上传任何境外或境内云端 AI。要用，就用我们自己电脑里跑的那种。"
她说的"自己电脑里跑的那种"——就是本地 AI。
故事二：那个产品经理在飞机上写完了下周的 PRD
老周是一个出海公司的产品经理，三天两头飞东南亚。2026 年 2 月，他从上海飞雅加达，因为雷雨延误，整整在飞机上耗了 9 个小时。
机上 Wi-Fi 时灵时不灵，他打开 ChatGPT 网页版——转圈。打开 Claude——转圈。打开公司订阅的某国内大模型——一会儿能用一会儿不能用，每次重连还得重新输入上下文。
他差点放弃，掏出 Mac 准备睡觉。临睡前他想起来，之前折腾着装过的 Ollama 还在 Dock 栏角落里。点开它，输入一行命令，本地的 Qwen 3 8B 在两秒内启动，他把脑子里那份 PRD 的草稿扔给它，它开始一段一段帮他展开。
整整三个小时，飞机在云层里颠簸，舱内信号一格都没有，他和那台 Mac 一起，把下周要交的产品文档写完了。落地之后，他给团队群发的第一条消息是："PRD 在群里，麻烦周一开会用。"
那天晚上他更新了一条朋友圈："今天发现，云端 AI 是奢侈品，本地 AI 是必需品。"
故事三：那位妈妈不想让孩子的作业被 AI 学走
张姐是个二年级孩子的妈妈。她发现孩子最近在用一个非常火的"AI 作业辅导"App——拍一道题，AI 讲解，孩子听完做下一道。
效果是真不错，孩子数学成绩突飞猛进。但有一天她随手翻孩子的隐私协议，看到一行小字："为了改进服务质量，您上传的题目、孩子的语音、错题记录可能被用于模型训练。"
她不是怕泄露答案。她怕的是——孩子从 8 岁到 18 岁的所有作业、所有犹豫、所有错题、所有问"妈妈这道题怎么做"的语气，都被一家公司收集起来，画成一张她孩子的"成长画像"。十年后，谁会拿这张画像做什么？她不知道，她也不愿赌。
她在小红书上搜了三个晚上，找到本书的雏形版，照着教程在家里那台四年前买的 MacBook 上装了 Ollama，下了一个 8B 的中文模型，又装了 Cherry Studio 配了一套小学数学教辅 PDF 当本地知识库。
第二天起，孩子用的是妈妈搭的"小狮子助教"。同样是 AI，区别是——这次，孩子说的每一句话，只在这个家里。
这三个故事，讲的是同一件事
不是"AI 危险"，AI 不危险。
是 AI 流向哪里 这件事，已经从一个"技术问题"变成了一个"生活选择"。
2022 年的时候，"用 AI"和"不用 AI"是分水岭。 2024 年的时候，"会用 AI"和"不会用 AI"是分水岭。 到了 2026 年，分水岭变成了——"AI 在你电脑里"还是"你在 AI 的电脑里"。
云端 AI 没有错。它聪明、强大、永远在线、随时升级，对绝大多数日常场景，它仍然是首选。这本书不是要劝你抛弃云端 AI——恰恰相反，第二章会非常诚实地告诉你：云端 AI 在 2026 年依然是大多数人的主力。
但当你做的事涉及隐私、涉及合同、涉及医疗、涉及孩子、涉及离线、涉及"我不希望任何人知道"，本地 AI 就不再是极客的玩具，而是普通人的盾牌。
这本书要做的事
这本书要做的事，只有一件：
让一个完全不懂技术、甚至从来没听说过"本地 AI"四个字的普通人，能在一个周末之内，把本地 AI 真正用起来。
不是"了解一下"、不是"知道有这么个东西"，而是真正在你的电脑上跑起来，并且能解决你日常的问题。
为了做到这件事，全书做了三个承诺：
- 每一个名词，第一次出现都用大白话翻译。"模型"、"推理"、"量化"、"嵌入"、"RAG"、"Agent"——你不需要先去看一遍机器学习教科书。
- 每一章都让你动手。不会出现"理论先讲十章，最后一章才教你装"的劝退结构。从第四章开始，你就能看到自己的电脑里跳出 AI 的回答。
- 不绑定任何一家产品。Ollama、LM Studio、Cherry Studio、AnythingLLM、Open WebUI、Jan、GPT4All、Dify——每一种主流方案我都会告诉你它的强项、弱点和适合谁。你看完之后是带着选择能力离开，而不是带着一个"老师推荐的工具"离开。
你不需要准备什么
很多教程写到这里会列一张吓人的清单：Linux 基础、Python 环境、CUDA 驱动、Docker、Conda……
我列的清单只有两条：
- 一台 2020 年以后买的电脑（Mac、Windows、Linux 都行）。
- 一杯你喜欢的饮料。
实在没有第 1 条也没关系——第三章会告诉你，怎么用一台二手 Mac mini、一台旧游戏本、甚至一台 16GB 的轻薄本，跑起一个对你日常够用的本地 AI。
适合你的几条提醒
如果你是 完全的小白：请按章节顺序从第一章读到第六章，先把"是什么、为什么、怎么装"打通；之后想用什么场景就跳读哪一章。不要一上来啃第十一章的 RAG 或第十三章的 Agent，会被劝退。
如果你是 被 AI 焦虑的中年人：你只需要看 第一章 · 本地 AI 是什么、第二章 · 本地AI对比云端AI 到底该选哪个、第十七章 · 未来已来 本地AI接下来3年的走向。看完你会发现，本地 AI 不是要追赶的潮流，而是给"想踏踏实实生活的普通人"留的一条岔路。
如果你是 小公司老板或个体户：请直接看 第十一章 · 搭建你的本地知识库 和 第十三章 · 本地AI智能体与工作流。看完你会知道——你不需要每个月花几万块买"企业版 AI 解决方案"，一台 32GB 内存的 Mac mini 就能给你的小作坊配一个 24 小时不下班的小助理。
如果你是 家长：请重点看 第七章 · 本地写作与日记 真正私密的创作伙伴、第十一章 · 搭建你的本地知识库 和 第十六章 · 本地AI的安全 隐私与合规。这三章会告诉你，怎么给孩子搭一个"不会偷偷收集数据、不会推送广告、不会被算法投喂"的 AI 助手。
如果你是 开发者或极客：请直接跳到 第四章 · 五分钟跑起你的第一个本地AI 起跑，重点关注 第六章 · 模型大小与量化、第九章 · 本地编程助手 代码补全与解释、第十三章 · 本地AI智能体与工作流。
关于"本地 AI"这个词的小说明
这本书里的"本地 AI"，特指：
把 AI 模型的全部权重文件下载到你自己的电脑上，依靠你电脑的 CPU、GPU 或专用芯片完成所有计算，整个过程不向任何外部服务器发送数据。
这意味着：
- 苹果手机里的 Apple Intelligence 调用云端"私有云计算"的部分——不算纯本地。
- 微信里那个"AI 总结消息"功能——不算本地。
- 你在 ChatGPT 网页版上传一份 PDF——不算本地。
- 你在自己 Mac 上用 Ollama 跑 Qwen 3 总结那份 PDF——这才算本地。
为什么要把定义说得这么严？因为这本书要谈的就是"数据完全不出本机"这件事的边界。一旦边界模糊了，"隐私"、"安全"、"离线"这些承诺也就模糊了。
一句话告别
你不需要变成程序员，也不需要懂机器学习。你只需要愿意花一个周末，把你电脑里那块闲置的算力唤醒。
翻到下一页，开始吧。
下一章：第一章 · 本地 AI 是什么