GPT-4o 和 Claude 等云端 AI 服务功能强大，但数据必须上传至服务商服务器——这对处理医疗记录、法律文件、商业机密或个人隐私数据的用户是一个关键限制。本地运行大型语言模型（Local LLM）通过在个人计算机或企业内网运行开源模型，解决了数据主权和隐私问题，同时带来了离线使用和成本控制的优势。
## 主要本地 LLM 工具
**Ollama**：目前最受欢迎的本地 LLM 运行平台，支持 macOS、Linux 和 Windows。一条命令即可下载和运行 Llama 3、Mistral、Phi-3、Gemma 等主流开源模型，提供 OpenAI 兼容的 API，可以无缝替换云端 API。参见 [ollama.com](https://ollama.com)。
**LM Studio**：图形界面优先，适合非技术用户，支持从 Hugging Face 直接下载 GGUF 格式模型，内置聊天界面和本地服务器功能。
**llama.cpp**：开源的 LLM 推理框架，通过量化技术（4-bit、8-bit 量化）大幅降低对 GPU 显存的要求，使在 CPU 或消费级 GPU 上运行 7B-70B 级别模型成为可能。
**Jan**：开源的本地 AI 助手，类似本地版 ChatGPT，支持多种开源模型，具有对话历史管理和工具集成能力。
## 值得关注的开源模型
**Llama 3（Meta）**：8B 和 70B 版本，在多数基准测试中接近 GPT-3.5 的能力。8B 版本可在 8GB 显存 GPU 上高效运行，70B 版本需要 40GB+ 显存或通过量化降低要求。
**Mistral 7B / Mixtral 8x7B**：法国 Mistral AI 的开源模型，效率高，7B 模型性能超越早期更大的模型；Mixtral 使用专家混合（MoE）架构，以更低的计算成本达到更高性能。
**Phi-3（Microsoft）**：3.8B 和 7B 的小型但性能超预期的模型，专为在受限设备（手机、PC）上运行而优化，适合边缘部署场景。
**Qwen 2.5（阿里巴巴）**：中英文双语性能均衡，在中文理解和生成方面有优势，适合中文本地 AI 应用。
**Code Llama / DeepSeek Coder**：专门为代码生成优化的开源模型，可在本地提供接近 Copilot 的代码辅助能力。
## 硬件需求参考
| 模型规模 | 最低配置（4-bit量化）| 舒适运行 |
|——–|————|——|
| 7B 参数 | 8GB RAM/显存 | 16GB |
| 13B 参数 | 16GB RAM/显存 | 24GB |
| 70B 参数 | 48GB RAM/显存 | 80GB A100 |
Apple Silicon（M1/M2/M3）芯片因统一内存架构，在本地 LLM 运行方面有特殊优势：64GB 统一内存可以舒适运行 70B 量化模型。
## 适用场景与局限
**适合本地 LLM 的场景**：处理敏感医疗/法律/财务数据、企业内网 AI 工具（避免数据上传）、开发者调试和微调、离线工作环境、教育和研究。
**仍需云端 API 的场景**：需要最新最强的推理能力（前沿任务）、多模态（图像视频）处理、大规模生产部署（运维复杂度高）、实时网络搜索集成。
参见[AI Agent工作流](https://sunqi.org/ai-agent-workflow-zh/)；[Ollama 文档](https://ollama.com)；[Hugging Face 模型库](https://huggingface.co/models)。
—
