A.1 推理引擎（让模型跑起来的底层）
| 工具 |
适合 |
平台 |
难度 |
备注 |
| Ollama |
大多数人 |
Mac/Win/Linux |
易 |
首选。命令行 + REST API，OpenAI 兼容 |
| LM Studio |
GUI 党 |
Mac/Win/Linux |
极易 |
全图形界面，零命令行 |
| llama.cpp |
极客 |
全平台 |
中 |
Ollama 的"亲爹"，最底层 |
| vLLM |
多卡部署 |
Linux |
难 |
高并发、企业级 |
| MLX |
Mac 专精 |
Mac |
中 |
Apple 官方推理框架，M 芯片最快 |
| MLX-LM |
Mac 用户 |
Mac |
中 |
MLX 的便利封装 |
| TensorRT-LLM |
NVIDIA 专精 |
Win/Linux |
难 |
NVIDIA 官方，最快但难配 |
| GPT4All |
老旧 PC |
全平台 |
易 |
CPU 优化好 |
结论：90% 的人用 Ollama 或 LM Studio 就够。
A.2 桌面对话客户端（你日常用的 UI）
| 工具 |
中文友好 |
知识库 |
MCP |
多模型 |
备注 |
| Cherry Studio |
★★★★★ |
★★★★★ |
★★★★ |
★★★★★ |
国人首选，全功能 |
| LM Studio |
★★★ |
★★★★ |
★★ |
★★★★ |
跨平台 GUI 标杆 |
| AnythingLLM |
★★★ |
★★★★★ |
★★★★ |
★★★★★ |
专精知识库 |
| Open WebUI |
★★★ |
★★★★ |
★★★★ |
★★★★★ |
Web 端 + 多用户 |
| Chatbox |
★★★★ |
★★ |
★ |
★★★★ |
轻量、跨平台 |
| Jan |
★★★ |
★★★ |
★★ |
★★★★ |
注重隐私 |
| MSTY |
★★★ |
★★★★ |
★★★ |
★★★★ |
"分屏对比"功能强 |
| NextChat |
★★★★ |
★★ |
★ |
★★★★ |
国产开源，部署简单 |
结论：日常用 Cherry Studio，知识库重的场景加 AnythingLLM。
A.3 主流大语言模型（聊天、写作、问答）
中文场景（首选）
| 模型 |
大小 |
强项 |
量化推荐 |
| Qwen 3 8B |
5 GB |
全能、中文极强 |
Q4_K_M |
| Qwen 3 14B |
8.5 GB |
中等机器旗舰 |
Q4_K_M |
| Qwen 3 32B |
19 GB |
高端机器旗舰 |
Q4_K_M |
| DeepSeek R1 Distill Qwen 7B |
4.5 GB |
强推理 |
Q4_K_M |
| GLM-4 9B |
5.5 GB |
工具调用稳 |
Q4_K_M |
| Yi-1.5 9B |
5.5 GB |
中英双语 |
Q4_K_M |
英文场景
| 模型 |
大小 |
强项 |
| Llama 4 Scout 17Bx16 |
64 GB |
MoE，全能 |
| Llama 3.3 70B |
40 GB |
经典旗舰 |
| Mistral Small 3 |
14 GB |
短句简洁 |
| Phi-4 14B |
8 GB |
STEM、推理 |
| Gemma 3 12B |
7 GB |
多语言 |
编程专精
| 模型 |
大小 |
强项 |
| Qwen 2.5 Coder 7B |
4.5 GB |
代码补全、解释 |
| Qwen 2.5 Coder 32B |
19 GB |
代码生成、重构 |
| DeepSeek Coder V2 16B |
9 GB |
多语言代码 |
| Codestral 22B |
13 GB |
函数级生成 |
视觉理解
| 模型 |
大小 |
强项 |
| Qwen 2.5-VL 7B |
5 GB |
中文 OCR、图表 |
| Qwen 2.5-VL 32B |
20 GB |
复杂场景 |
| Llama 3.2-Vision 11B |
7.5 GB |
英文 |
| MiniCPM-V 2.6 |
5 GB |
国产小钢炮 |
| InternVL3 8B |
5 GB |
学术分析 |
嵌入（用于知识库）
| 模型 |
大小 |
用途 |
| bge-m3 |
2.3 GB |
中文首选 |
| bge-large-zh-v1.5 |
1.3 GB |
中文备选 |
| nomic-embed-text |
0.3 GB |
英文场景 |
| mxbai-embed-large |
0.7 GB |
英文场景 |
重排（提升知识库准确率）
| 模型 |
用途 |
| bge-reranker-v2-m3 |
中文重排 |
| bge-reranker-large |
英文重排 |
A.4 知识库 / RAG 工具
| 工具 |
难度 |
知识库强度 |
适合 |
| Cherry Studio |
易 |
★★★★ |
个人 |
| AnythingLLM |
易 |
★★★★★ |
个人 + 团队 |
| Open WebUI |
中 |
★★★★ |
团队 |
| FastGPT |
中 |
★★★★★ |
企业 |
| Dify |
中 |
★★★★★ |
企业、Agent |
| RAGFlow |
难 |
★★★★★ |
企业、专业 RAG |
| LangChain / LlamaIndex |
难 |
灵活 |
开发者自定义 |
A.5 Agent / 工作流
| 工具 |
难度 |
类型 |
适合 |
| Cherry Studio + MCP |
易 |
对话式 Agent |
普通人 |
| Open Interpreter |
易 |
命令行 Agent |
技术爱好者 |
| n8n |
中 |
可视化工作流 |
自动化爱好者 |
| Dify |
中 |
LLM 平台 |
团队 |
| Coze Studio |
中 |
节点式 Agent |
企业 |
| CrewAI |
难 |
多 Agent |
开发者 |
| AutoGen |
难 |
多 Agent |
开发者 |
| Smolagents |
难 |
轻量 Agent |
开发者 |
| LangGraph |
难 |
状态机 Agent |
开发者 |
A.6 编程助手
| 工具 |
平台 |
模式 |
备注 |
| Continue |
VSCode/JetBrains |
插件 |
本地编程首选 |
| Cline |
VSCode |
Agent |
自动改多文件 |
| Roo Code |
VSCode |
Agent |
Cline 的衍生分支 |
| CodeGPT |
VSCode |
插件 |
轻量替代 |
| Aider |
命令行 |
Agent |
命令行最强 |
| Cursor |
独立 IDE |
全套 |
商业 IDE，可接本地 |
A.7 浏览器插件
| 插件 |
用途 |
| Page Assist |
侧边栏对话，自动检测 Ollama |
| 沉浸式翻译 |
网页翻译，支持本地 |
| Monica |
综合 AI 助手，支持自定义 |
| Sider |
综合 AI 助手 |
| OpenAI Translator |
翻译 |
| 智阅 GPT |
总结网页 |
A.8 Obsidian 插件
| 插件 |
用途 |
| Smart Connections |
笔记语义搜索 + AI 问答 |
| Copilot for Obsidian |
笔记内 AI 助手 |
| Text Generator |
模板化生成 |
| Local GPT |
本地推理 |
A.9 语音转文字（ASR）
| 工具 |
平台 |
中文 |
速度 |
备注 |
| whisper.cpp |
跨平台 |
★★★★ |
中 |
经典 C++ 实现 |
| MLX-Whisper |
Mac |
★★★★ |
极快 |
M 芯片专用 |
| MacWhisper |
Mac |
★★★★ |
极快 |
GUI App，付费 |
| Buzz |
跨平台 |
★★★★ |
中 |
开源 GUI |
| WhisperX |
跨平台 |
★★★★ |
中 |
时间戳精准 |
| SenseVoice |
跨平台 |
★★★★★ |
快 |
中文最准 |
| FunASR |
跨平台 |
★★★★★ |
快 |
阿里出品 |
| Faster-Whisper |
跨平台 |
★★★★ |
极快 |
CTranslate2 优化 |
A.10 文字转语音（TTS）
| 工具 |
中文 |
自然度 |
克隆音色 |
| Mac say 命令 |
★★★ |
★★★ |
否 |
| Piper |
★★ |
★★★ |
否 |
| OpenVoice |
★★★★ |
★★★★ |
是 |
| Coqui XTTS v2 |
★★★★ |
★★★★ |
是 |
| F5-TTS |
★★★★★ |
★★★★★ |
是 |
| GPT-SoVITS |
★★★★★ |
★★★★★ |
是 |
| CosyVoice |
★★★★★ |
★★★★★ |
是 |
A.11 图像生成
| 工具 |
难度 |
强项 |
| Draw Things |
极易 |
Mac App，零配置 |
| Fooocus |
易 |
一键出大片 |
| ComfyUI |
中 |
节点式，灵活强大 |
| AUTOMATIC1111 SD WebUI |
中 |
老牌经典 |
| InvokeAI |
中 |
商用友好 |
主流开源图像模型
| 模型 |
显存 |
风格 |
| Flux.1 Dev |
16 GB+ |
写实 + 艺术 |
| Flux.1 Schnell |
12 GB+ |
写实快 |
| SDXL |
8 GB+ |
通用 |
| SD 1.5 |
4 GB+ |
通用、社区模型多 |
| Pony Diffusion v6 |
8 GB+ |
二次元 |
| HiDream |
16 GB+ |
中文友好 |
A.12 OCR / 文档处理
| 工具 |
中文 |
备注 |
| PaddleOCR |
★★★★★ |
百度，中文首选 |
| Tesseract OCR |
★★★ |
老牌，开源 |
| Apple 实况文本 |
★★★★ |
Mac/iOS 内置 |
| Qwen 2.5-VL |
★★★★★ |
视觉模型 OCR |
| marker |
★★★ |
PDF → markdown |
| nougat |
★★★★ |
学术 PDF |
A.13 模型下载源
| 源 |
国内速度 |
内容 |
| Hugging Face |
慢 |
全球最大 |
| hf-mirror.com |
快 |
HF 镜像 |
| ModelScope（魔搭） |
极快 |
阿里出品 |
| ollama-proxy.cnb.cool |
快 |
Ollama 国内代理 |
A.14 监控 / 网络分析（用于安全）
| 工具 |
平台 |
用途 |
| Little Snitch |
Mac |
网络出站监控（付费） |
| LuLu |
Mac |
开源替代 Little Snitch |
| GlassWire |
Win |
网络监控 |
| Wireshark |
全平台 |
抓包分析 |
| netstat / lsof |
命令行 |
端口监控 |
A.15 一份"全家桶推荐"
普通用户极简全家桶（够用 80%）
- 推理引擎：Ollama
- 客户端：Cherry Studio
- 主模型：qwen3:8b
- 嵌入：bge-m3
- 浏览器：Page Assist 插件
- 笔记：Obsidian + Smart Connections
装完即用，每月维护 5 分钟。
进阶用户加配
+ MCP：filesystem MCP + brave-search MCP
+ 编程：VSCode + Continue + qwen2.5-coder:7b
+ 视觉：qwen2.5vl:7b
+ 知识库：AnythingLLM
+ 语音：whisper.cpp / MLX-Whisper
重度用户高配
+ 大模型：qwen3:32b 或 qwen3:72b（需 64 GB+ 内存）
+ 多 Agent：n8n + Dify
+ 出图：ComfyUI + Flux.1 Dev
+ TTS：F5-TTS（音色克隆）
+ 网络监控：Little Snitch
+ 备份：Time Machine + 加密硬盘
A.16 学习资源
官方文档（必看）
- Ollama: https://ollama.com/docs
- LM Studio: https://lmstudio.ai/docs
- Hugging Face: https://huggingface.co/docs
- Cherry Studio: https://docs.cherry-ai.com
中文社区
- Linux.do（综合社区）
- V2EX
/local-ai
- 知乎"本地大模型"话题
- B 站很多 UP 主
英文社区
- r/LocalLLaMA（最大）
- HuggingFace Forum
- Ollama Discord
- LM Studio Discord
跟踪 SOTA 模型
- HuggingFace Trending
- Open LLM Leaderboard
- Chinese LLM Leaderboard（中文榜）
永无岛