Ollama装完只是开始。模型放哪、端口怎么开、并发和上下文怎么设、局域网怎么访问——这几项决定它是玩具还是能用的服务。

💡 你将学到

Ollama装完只是开始。模型放哪、端口怎么开、并发和上下文怎么设、局域网怎么访问——这几项决定它是玩具还是能用的服务。

📜 目录

• 一、安装：三个平台三条路
• 二、模型目录：先想清楚放哪
• 三、拉模型与第一次对话
• 四、两种 API：原生和 OpenAI 兼容
• 五、局域网访问与安全边界
• 六、常见故障对照表
• 七、调参建议：三个最值得改的
• 八、多模型共存与磁盘管理
• 常见问题
• 相关文章

Ollama 本地设置指南 2026

Ollama 的安装过程快到让人以为已经结束了，但真正影响使用体验的是装完之后的那几项设置：模型存在哪个盘、服务监听哪个地址、能不能被局域网访问、并发几个请求、上下文多长。这篇按安装、目录、环境变量、API、常驻服务的顺序走一遍。

一、安装：三个平台三条路

Windows：从官网下载安装包，双击装完，Ollama 会作为后台程序常驻，任务栏有图标。之后在 PowerShell 或 CMD 里直接用 ollama 命令。

macOS：下载 dmg 或使用 Homebrew，安装后菜单栏出现图标，命令行同样可用。

Linux：官方脚本一条命令搞定，会自动创建 ollama 系统用户和 systemd 服务。

curl -fsSL https://ollama.com/install.sh | sh

装完先确认版本和服务状态：

ollama --version
systemctl status ollama    # 仅 Linux

二、模型目录：先想清楚放哪

默认情况下模型会被下载到系统盘的用户目录里。一个 8B 的 Q4 模型四五个 GB，跑上十几个模型就是几十 GB，C 盘紧张的人第一次被撑爆往往就是这里。

Linux 上改服务环境变量用 systemd 的覆盖机制，不要直接改官方 unit 文件：

sudo systemctl edit ollama.service

在打开的编辑器里写入：

[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_KEEP_ALIVE=24h"

保存后 sudo systemctl daemon-reload && sudo systemctl restart ollama。Windows 则是在系统环境变量里添加同样的名字，然后退出 Ollama 托盘程序重新启动。

三、拉模型与第一次对话

ollama pull qwen3:8b       # 下载并缓存
ollama run qwen3:8b        # 进入交互对话
ollama list                # 看本地已有哪些
ollama ps                  # 看当前加载在内存里的模型

模型名的格式是 名字:标签，标签通常对应参数量和量化档位。同一个名字可以有多个标签，占多份磁盘。选型上的经验是：显存或内存 8GB 左右选 3B-4B 的量化版，16GB 可以上 8B，24GB 以上再考虑 14B 及更大。对话和摘要用 8B 级已经够，代码和推理任务再往上加。

四、两种 API：原生和 OpenAI 兼容

原生接口的 /api/generate 适合一次性补全，/api/chat 适合多轮：

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role":"user","content":"用三句话解释什么是KV缓存"}],
  "stream": false
}'

如果要接现成的客户端，用 OpenAI 兼容路径更省事，地址是 http://localhost:11434/v1，key 随便填一个非空字符串：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
r = client.chat.completions.create(
    model="qwen3:8b",
    messages=[{"role": "user", "content": "写一个Python快速排序"}],
)
print(r.choices[0].message.content)

这样一来，任何支持自定义 base_url 的工具都能直接指向本地模型，不需要改代码逻辑。

五、局域网访问与安全边界

把 OLLAMA_HOST 设成 0.0.0.0:11434 后，同网段的其他设备就能访问，适合在台式机上跑模型、笔记本上调用的场景。放行端口记得在防火墙里加规则。

但要注意：Ollama 默认没有任何认证。不要把它直接暴露到公网。确实需要远程访问，走 SSH 隧道或反向代理加认证，这是最省事的两种做法。

# 从另一台机器通过SSH隧道访问本机模型
ssh -L 11434:127.0.0.1:11434 user@server

六、常见故障对照表

七、调参建议：三个最值得改的

上下文长度：默认值对长文档不够用，但设太大会吃掉大量内存。按实际任务设，不要一律拉满。

保活时间：频繁使用的模型设长一点，能省掉每次几十秒的加载。

并行数：只有在多客户端同时请求时才有意义。单用户设高没有收益，反而分摊带宽让每次响应更慢。

八、多模型共存与磁盘管理

装到第五个模型时，磁盘占用会变成主要问题。一个 8B Q4 约 5GB，14B Q4 约 9GB，把常用档位都下一遍很容易超过 100GB。

管理上有三条实用规则：

1. 同一家族只留一个档位。模型仓库里同一个模型常有 Q4、Q5、Q8 多个版本，日常用 Q4 就够，Q8 只在你需要做效果对照时留。
2. 定期清理不用的模型。ollama list 能看到每个模型的大小和下载时间，两个月没碰过的直接删。
3. 限制常驻数量。OLLAMA_MAX_LOADED_MODELS 设成 1 或 2，避免切模型时同时驻留多个占满内存。

ollama ps 是排查问题的第一步：它显示当前加载了哪些模型、占用多少、有多少层在 GPU 上。如果显示大量层在 CPU 上，说明显存不够，要么换小模型，要么降低量化档位。

常见问题

Q：模型能不能放在移动硬盘或网络盘？ A：能设路径，但网络盘的随机读取很慢，模型加载会拖到无法接受。移动硬盘用 USB 3.0 以上尚可。

Q：怎么彻底卸载某个模型？ A：ollama rm 模型名。注意删除后要重新 pull 才能用。

Q：Ollama 和 Open WebUI 怎么配合？ A：Open WebUI 用 Docker 起一个容器，把 OLLAMA_BASE_URL 指向宿主机上的 Ollama 地址即可，能得到接近 ChatGPT 的界面。

Q：能不能只用 CPU？ A：可以，装完就能跑，只是速度慢。没有显卡时优先选 3B 以下的模型。

注：环境变量名称、默认值与模型标签随版本变化，具体以 Ollama 官方文档为准。

相关文章

• 用Docker本地运行Ollama：2026完整部署指南
• 用Docker本地运行Ollama完整指南
• 2026年Linux本地大模型部署：Ollama（17.8万星）安装指南，GPU、Docker、systemd完整走一遍