Ollama是在Windows上运行本地LLM最简单的方式。本指南涵盖安装、GPU加速、模型管理。

💡 你将学到

Ollama是在Windows上运行本地LLM最简单的方式。本指南涵盖安装、GPU加速、模型管理。

📜 目录

• 第一步：在 Windows 上安装 Ollama
• 第二步：启用 GPU 加速（NVIDIA）
• 第三步：拉取并运行模型
• 第四步：搭建 Open WebUI
• 第五步：连接 VS Code（Continue 扩展）
• Windows 性能基准测试
• 常见问题排查
• 相关文章

Ollama Windows 安装指南：10分钟搞定本地大模型

Ollama（GitHub 17.6万星标）让在 Windows 上运行本地大模型变得极其简单。

第一步：在 Windows 上安装 Ollama

从 ollama.com/download 下载官方 Windows 安装程序，运行即可。安装程序会自动将 Ollama 添加到系统 PATH 中。

安装完成后，验证一下：

ollama --version

第二步：启用 GPU 加速（NVIDIA）

Ollama 会自动通过 CUDA 检测 NVIDIA GPU。

不同模型大小的显存需求：

第三步：拉取并运行模型

ollama pull llama3.1:8b
ollama run llama3.1:8b

第四步：搭建 Open WebUI

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

打开 http://localhost:3000 —— 一个由你的本地大模型驱动的 ChatGPT 克隆版。

第五步：连接 VS Code（Continue 扩展）

在 VS Code 中安装 Continue 扩展，然后在 config.json 中配置：

{
  "models": [{
    "title": "Ollama Local",
    "provider": "ollama",
    "model": "llama3.1:8b"
  }]
}

Windows 性能基准测试

常见问题排查

问题：新终端中找不到 Ollama 命令 运行 refreshenv 或重启终端。

问题：未检测到 GPU 从 NVIDIA 官网安装 CUDA 12.4 或更高版本。

问题：内存不足 使用更小的模型或 Q4 量化版本。

相关文章

• Windows本地LLM环境搭建完全教程：Ollama / LM Studio / GPT4All 三方案对比
• 2026年Linux本地大模型部署：Ollama（17.8万星）安装指南，GPU、Docker、systemd完整走一遍
• llama.cpp优化技巧：在CPU和GPU上加速本地LLM推理