1 min read
每秒 5 至 7 个词。据 Microsoft 介绍，其开源的 BitNet 框架能以这样的速度，在一颗普通的电脑处理器上运行一个经过特殊压缩的超大型 AI 模型，大致相当于人的阅读速度。几年前，这还需要一整机架的专用硬件。如今，它只是一个免费下载。
你不需要真的使用 BitNet，也能从这一转变中受益。更重要的一点是：能力不俗的 AI 模型如今已能完全在普通笔记本电脑上运行，无需向云端发送任何内容。对于手握客户合同、医疗登记表、财务记录或未发布作品的个人业务来说，这是一个切实可行的隐私方案，而不是发烧友的实验。本指南将教你如何在一小时内完成设置，同样重要的是，告诉你什么时候不值得这么做。
为什么要在自己的电脑上运行 AI
ChatGPT、Claude 和 Gemini 等云端助手的能力，远超你的笔记本电脑所能运行的任何模型。因此，本地 AI 的适用场景虽然有限，却真实存在：
- 机密文件。有些客户协议禁止将其资料上传到第三方服务。本地模型绝不会把文本发送到任何地方。
- 受监管的信息。如果你处理健康、法律或财务信息，让这些数据远离外部服务器，可以简化你与客户的沟通，往往也能更轻松地应对我们在新州级 AI 法律通俗指南中介绍的各项规定。
- 离线工作。飞机上、偏远的施工现场、咖啡馆时断时续的 Wi-Fi，都不再是问题。
- 没有按次计费。一旦安装完成，本地模型除了电费之外不产生任何费用。
代价是：本地模型体量较小，因此在复杂推理和长文档方面表现较弱。不妨把它看作一个擅长起草、总结和整理的得力助手，而不是战略顾问。
第 1 步：检查你的笔记本电脑
最关键的一个数字是内存（RAM）。一条实用的经验法则：
- 8 GB 内存：小型模型（约 30 亿个”参数”，参数是衡量模型规模的粗略指标）。适合简短摘要和改写。
- 16 GB 内存：中型模型（约 70 亿至 80 亿个参数）。这是大多数商务写作任务的最佳选择。
- 32 GB 或以上：更大的模型，处理较长文档时开始真正派上用场。
近几年搭载 Apple Silicon 的 Mac 和配备现代处理器的 Windows 笔记本电脑都能很好地运行。入门不需要游戏显卡。
第 2 步：选择一款易用的应用
两款免费工具几乎能满足所有个人经营者的需求。
LM Studio（最简单，点点鼠标即可）
LM Studio 是一款适用于 Mac、Windows 和 Linux 的桌面应用，外观和使用感受都像一个聊天助手。你只需浏览开放模型目录，点击下载，就可以开始聊天。如果你从未打开过终端窗口，就从这里开始。
Ollama（简单，稍微技术一点）
Ollama 的安装方式和普通应用一样，只需输入一条简短命令即可运行模型。它之所以受欢迎，是因为其他工具很容易与它对接，包括 Open WebUI 这样的免费聊天界面，方便你日后想要一个更美观的窗口。
两者都是免费的。如果你完全不想打字，就选 LM Studio；如果你预计以后要连接其他应用，就选 Ollama。
第 3 步：下载一个小型开放模型
开放模型是指公开发布模型文件、任何人都可以运行的 AI 模型。你在这两款应用中都会看到的模型家族包括 Llama（Meta）、Gemma（Google）、Mistral 和 Qwen。首次测试时：
- 在应用的目录中搜索与你第 1 步中内存大小相匹配的模型。
- 优先选择标有”instruct”或”chat”的版本，它们经过调校，更善于遵循指令。
- 下载一个。文件通常有几个 GB 大小。
在 Ollama 中，整个过程只需一条命令，例如 ollama run llama3.2，它会下载一个小型 Llama 模型，并在终端中打开聊天。
第 4 步：先用真实（非敏感）任务进行测试
在把客户文件交给它之前，先用你愿意公开的资料做三项测试：
- 总结一份你非常熟悉的两页文档。它有没有遗漏重要内容？
- 改写一封草稿邮件，让语气更友好。听起来像你写的吗？
- 提取一张示例发票中的日期、姓名和金额。结果正确吗？
如果效果不理想，可以换大一号的模型，或换一个模型家族。不同模型之间的质量差异，比不同应用之间的差异更大。
第 5 步：搭建一个简单的”私密通道”工作流程
最聪明的配置并不是只用本地模型，而是一套双通道系统：
- 私密通道（本地模型）：任何包含客户姓名、健康或财务信息，或受保密协议约束的资料。用于摘要、初稿以及从文档中提取信息。
- 公开通道（云端助手）：营销文案、一般性调研、战略问题以及任何已经公开的内容。
一个实用技巧：先让本地模型去除姓名和可识别身份的信息，再把匿名化后的版本粘贴到云端助手中进行更深入的思考。这样你既能获得云端级别的质量，又不会暴露原始内容。
什么时候不值得使用本地 AI
如果你的笔记本电脑内存不足 8 GB，如果你的工作都算不上真正机密，或者你主要需要深度推理和调研，那就完全可以跳过这件事。在这些情况下，云端助手的付费商业版本通常承诺不会用你的数据进行训练，是更划算的选择。我们对免费 AI 工具常见误区的分析解释了为什么”免费”并不总是更便宜，而我们对 Anthropic 十月降价的解读则展示了云端成本下降得有多快。
总结
本地 AI 早已不是科学实验。只需一台 16 GB 内存的笔记本电脑、一款免费应用和 30 分钟的设置，你就能把最敏感的客户工作完全留在自己的电脑上，同时其他所有事情照样使用云端工具。本周就安装一款应用，测试一个模型，交给它一项机密任务。你很快就会知道，它是否值得在你的工具箱里占据一席之地。
