本地LLM新手入门指南 2026：在自己的电脑上运行AI模型

📘 教程 2026-07-20 约 5 分钟阅读

听说过本地LLM但不知道从哪里开始？这篇新手入门指南从零开始带你跑起第一个本地AI模型。

💡 你将学到

听说过本地LLM但不知道从哪里开始？这篇新手入门指南从零开始带你跑起第一个本地AI模型。

📜 目录

什么是本地大模型？
第一步：选择你的工具
第二步：安装 Ollama
第三步：拉取你的第一个模型
第四步：与模型对话
第五步：使用 API
你应该从哪个模型开始？
常见问题
相关文章

本地大模型新手指南 2026：在个人电脑上运行 AI 模型的第一步

2026 年，在自家电脑上运行大型语言模型比以往任何时候都更简单。你不需要数据中心，也不需要云订阅。这份完整的新手指南就是为你准备的。

什么是本地大模型？

本地大模型是指完全运行在你电脑上的大型语言模型——无需联网、没有 API 费用、数据也不会离开你的设备。热门选择包括 Llama 3.1、Qwen3、DeepSeek 和 Mistral。

第一步：选择你的工具

运行本地大模型主要有两种方式：

工具	GitHub Stars	易用性	最适合
Ollama	176K	极佳	初学者——一条命令即可安装
LM Studio	50K+	极佳	喜欢图形界面的人——下载即点即用
llama.cpp	76K	一般	高级用户——最大程度的控制

新手建议：从 Ollama 开始。 这是最简单的方式。

第二步：安装 Ollama

Windows： 从 https://ollama.com/download 下载并运行安装程序。

macOS：

curl -fsSL https://ollama.com/install.sh | sh

Linux：

curl -fsSL https://ollama.com/install.sh | sh

第三步：拉取你的第一个模型

打开终端并运行：

ollama pull llama3.1:8b

这会下载 Meta 的 Llama 3.1 8B 模型（约 4.6GB）。

第四步：与模型对话

ollama run llama3.1:8b

现在你正在与一个运行在自己电脑上的 AI 对话。

第五步：使用 API

Ollama 在 localhost:11434 提供了一个兼容 OpenAI 的 API。

import requests
response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "llama3.1:8b", "prompt": "Hello!", "stream": False}
)
print(response.json()["response"])

你应该从哪个模型开始？

模型	大小	所需内存	质量
Llama 3.1 8B	4.6GB	8GB	适合日常对话
Qwen3 7B	4.2GB	8GB	中英文表现俱佳
Mistral 7B	4.1GB	8GB	速度快，适合编程
DeepSeek R1 7B	4.5GB	8GB	推理能力最强