Windows本地LLM环境搭建完全教程：Ollama / LM Studio / GPT4All 三方案对比

📘 AI教程 💬 🔥 Trending

🩺 摘要

用Windows想跑本地AI，但不知道选什么工具、怎么配置显卡、怎么优化C盘空间。Ollama、LM Studio、GPT4All到底选哪个？本文一篇解决所有Windows用户的问题。

📝 详情

在Windows上跑本地大模型：最详细的配置指南

Windows用户跑本地AI有一个天然的心理门槛——总觉得这应该是Linux干的事。2026年，事实完全相反：Windows上的本地AI工具链已经非常成熟，甚至比Linux的图形界面体验更好。

本文手把手教你从零开始，在Windows上搭建完整的本地LLM环境。

三款Windows本地LLM工具横评

① Ollama for Windows（推荐新手）

官网： ollama.com/download | GitHub Stars： 176K

Ollama在2025年底正式发布Windows原生版本，不再需要WSL。

安装：

① 访问 ollama.com/download，点击Windows下载
② 双击 OllamaSetup.exe，一路Next
③ 安装完成后，终端输入 ollama --version 验证

拉取并运行模型：

# 用CMD或PowerShell
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

后台服务： Ollama安装后自动注册为Windows服务，开机自启。在任务栏右下角可以看到Ollama图标。

API地址： http://localhost:11434 （兼容OpenAI格式）

② LM Studio（Windows体验最佳）

官网： lmstudio.ai

LM Studio是为Windows/Mac量身打造的桌面应用，图形界面完整，支持直接从HuggingFace浏览和下载模型。

安装：

① 访问 lmstudio.ai → Download for Windows
② 安装包约200MB，双击安装
③ 打开后自动检测GPU（NVIDIA CUDA / AMD ROCm）

使用流程：

① 点击左侧"Search" → 搜索模型名称（如 qwen2.5）
② 选择一个GGUF格式的模型 → 点击Download
③ 下载完成后 → 点击模型 → "Load Model"
④ 在聊天界面开始对话

内置功能： - 本地推理服务器（提供OpenAI兼容API） - 多模型切换 - 参数调节（Temperature、Max Tokens等） - GPU加速自动检测

优势： 不需要记任何命令，纯鼠标操作。对Windows新手最友好。

③ GPT4All（最小体量）

GitHub Stars： 77K | 官网： gpt4all.io

GPT4All安装包仅100MB，是体积最小的Windows本地LLM工具。

安装：

① 访问 gpt4all.io → 下载Windows版
② 双击安装 → 打开后自动下载默认模型
③ 直接开始本地对话

特点： - 内置本地知识库（上传文档自动RAG） - 无需联网即可使用 - 支持CPU推理，不需要GPU

工具选择决策树

你是Windows用户
├─ 喜欢命令行 / 需要API调用 → Ollama ✅
├─ 喜欢图形界面 / 纯鼠标操作 → LM Studio ✅
├─ 只需要聊天 / 电脑配置低 → GPT4All ✅
└─ 需要编程辅助 → Ollama + VS Code Continue ✅

第一步：Ollama on Windows 详细配置

安装Ollama

访问 ollama.com/download，下载Windows安装程序（约150MB）。

安装完成后，在CMD或PowerShell中验证：

ollama --version
# 输出类似：ollama version 0.30.5

下载模型

# 根据你的内存选择

# 8GB内存 → 推荐
ollama pull qwen2.5:7b
# 大小：约4.5GB | 效果：良好

# 16GB内存 → 推荐
ollama pull qwen2.5:14b
# 大小：约9GB | 效果：优秀

# 32GB内存 → 追求质量
ollama pull llama3.1:8b
ollama pull qwen2.5:32b
# 大小：约18GB | 效果：顶级

运行对话

ollama run qwen2.5:7b

退出对话：输入 /bye 或按 Ctrl+D。

第二步：Windows GPU加速配置

NVIDIA显卡用户（最简单）

Ollama自动检测CUDA，无需额外配置。

# 查看GPU是否被识别
ollama run qwen2.5:7b
# 在对话中问：你的GPU是什么？
# 模型会返回Ollama的GPU信息

# 或者查看ollama日志
# Windows: %LOCALAPPDATA%\ollama\server.log

支持CUDA的NVIDIA显卡：RTX 20/30/40/50系列，GTX 16系列（4GB+显存）

加速效果： | 显卡 | 7B模型 | 14B模型 | |:---:|:------:|:-------:| | RTX 3060 12GB | 25-35 tok/s | 15-20 tok/s | | RTX 4060 8GB | 20-30 tok/s | 12-18 tok/s | | RTX 4090 24GB | 50-70 tok/s | 30-45 tok/s | | 纯CPU（i7-13700） | 5-8 tok/s | 3-5 tok/s |

数据来源：基于llama.cpp benchmark v2026，单精度FP16推理。

AMD显卡用户

Ollama支持通过ROCm加速AMD显卡。

配置步骤：

① 下载Ollama ROCm版本（在ollama.com选择ROCm版）
② 安装AMD ROCm驱动（rocm.docs.amd.com）
③ 安装后Ollama自动使用ROCm加速

没有独立显卡

CPU模式也能跑！速度大约5-8 tok/s，对话会有1-2秒延迟，但完全可用。

# CPU模式无需任何配置，Ollama自动降级到CPU
ollama run qwen2.5:7b

第三步：Windows专用优化技巧

1. 将模型安装到其他盘

Ollama默认下载到C盘。如果你的C盘空间有限：

# 设置环境变量（重要：先设置再下载）
setx OLLAMA_MODELS D:\ollama\models

# 重启CMD（环境变量生效）
# 重新拉取模型
ollama pull qwen2.5:7b

2. 开机自启配置

Ollama安装后默认已设为服务自启。如需手动控制：

# 查看服务状态
sc query ollama

# 手动启动
net start ollama

# 手动停止
net stop ollama

3. 允许局域网访问

如果想让局域网内的其他设备（手机、平板）访问你的Ollama：

# 设置Ollama监听所有网络接口
setx OLLAMA_HOST 0.0.0.0

然后重启Ollama服务。访问方式：http://你的电脑IP:11434

⚠️ 仅限于家庭/办公局域网！Ollama没有身份认证，不要暴露到公网。

第四步：集成到VS Code

Windows + VS Code + Ollama = 最强大的本地AI编程环境。

安装Continue扩展：

① VS Code → 扩展 → 搜索"Continue"
② 安装后，打开Continue设置
③ 配置Ollama后端

Continue配置文件 %USERPROFILE%\.continue\config.json：

{
  "models": [
    {
      "title": "Ollama Local",
      "provider": "ollama",
      "model": "qwen2.5-coder:7b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Qwen Coder 7B",
    "provider": "ollama",
    "model": "qwen2.5-coder:7b"
  }
}

Tab自动补全速度约0.5-1秒，比云端慢一些，但免费且数据安全。

Windows vs Mac vs Linux：本地LLM体验对比

维度 Windows Mac (Apple Silicon) Linux
安装难度 ★☆☆ 最简单 ★☆☆ 简单 ★★☆ 中等
GPU加速 CUDA/ROCm Metal（自动） CUDA/ROCm
8GB内存性能 5-8 tok/s 8-12 tok/s 5-8 tok/s
工具选择 最多（Ollama/LM Studio/GPT4All） 多（Ollama） 多（Ollama/llama.cpp）
图形界面 LM Studio最佳 Ollama + Enchanted Open WebUI
适合人群 所有Windows用户 Mac开发者 服务器/Linux用户

结论： Windows在工具多样性上胜出，Mac在统一内存上推理速度更快，Linux在服务器部署上有天然优势。

常见问题（Windows特有）

Q：下载模型时提示空间不足？ 设置 OLLAMA_MODELS 环境变量到其他盘（如D盘），然后重新下载。

Q：Ollama运行但速度很慢？ 检查是否用了GPU加速：ollama run qwen2.5:7b 然后问一个问题，看返回速度。CPU模式5-8 tok/s正常，如果低于3 tok/s可能是后台有其它程序占资源。

Q：杀毒软件报警？ Ollama是开源软件，Windows Defender偶尔会误报。在Defender中添加排除项即可。

Q：如何在WSL中使用Windows的Ollama？ WSL2中可以通过 http://host.docker.internal:11434 访问Windows的Ollama服务。

Q：笔记本电脑用电池时跑AI费电吗？ 跑7B模型约额外消耗15-25W（GPU+CPU），满电续航缩短约30-40%。建议插电使用。

Q：LM Studio和Ollama能不能同时装？ 可以。它们各自独立运行，端口不冲突（Ollama:11434，LM Studio:1234）。

Windows部署清单

□ 第一步：下载安装 Ollama / LM Studio
□ 第二步：下载模型（8GB→7B, 16GB→14B, 32GB+→32B）
□ 第三步：验证运行 ollama run qwen2.5:7b
□ 第四步：配置C盘空间（设置OLLAMA_MODELS环境变量）
□ 第五步：可选→安装VS Code + Continue扩展
□ 第六步：可选→安装Open WebUI（Docker）

总结

Windows上跑本地AI在2026年已经没有任何障碍了：

工具：Ollama（命令行） / LM Studio（图形界面） / GPT4All（轻量）
模型：Qwen2.5:7b（8GB内存） / Qwen2.5:14b（16GB内存）
加速：NVIDIA CUDA自动 / AMD ROCm可选 / CPU也能跑
集成：VS Code + Continue / API调用 / Open WebUI
成本：零（已有电脑 + 免费模型）

🔗 相关文章： 2026本地大模型部署指南：全平台通用 | 自部署AI Agent平台搭建指南

🔗 系列文章： 零成本本地AI编程：Ollama + Continue.dev 从零搭建