Windows本地跑大模型完整指南：Ollama+Open WebUI+LM Studio三步搞定
🩺 摘要
想在Windows上跑本地大模型？不需要Linux，不需要WSL2。Ollama+Open WebUI两个工具，三步搞定。
📝 详情
为什么要在本地跑LLM？
隐私、成本、离线可用。 三个理由就够了。
Step 1: 安装Ollama
Ollama是目前Windows上最方便的LLM运行时。去ollama.com下载Windows版，安装完就能用。
# 拉取模型
ollama pull qwen2.5:7b
# 运行
ollama run qwen2.5:7b
Step 2: 安装Open WebUI
Open WebUI是Ollama的Web界面，类似ChatGPT的体验。
# 用pip安装
pip install open-webui
# 启动
open-webui serve
浏览器打开 http://localhost:8080 就能看到界面了。
推荐的本地模型
| 模型 | 大小 | 硬件要求 | 适合场景 |
|---|---|---|---|
| Qwen 2.5 7B | 4.5GB | 8GB RAM | 通用对话 |
| Llama 3.1 8B | 5GB | 8GB RAM | 英文任务 |
| DeepSeek Coder 6.7B | 4GB | 8GB RAM | 代码生成 |
| Mistral 7B | 4GB | 8GB RAM | 推理任务 |
踩坑提醒
别贪大模型。 16GB内存的笔记本跑7B模型就够了，跑13B以上会卡。量化版本（Q4_K_M）比原版小一半，性能损失不到5%。
总结
本地跑LLM最大的门槛不是技术，是选对模型装对工具。Ollama+Qwen 2.5 7B是目前Windows用户的最佳入门组合。
💬 评论 (0)