Ollama教程：一行命令本地跑大模型

📘 AI教程 💬 🔥 Trending 发布者: leakey
Ollama教程：一行命令本地跑大模型

🩺 摘要

想本地跑大模型，但llama.cpp要编译、vLLM要配置、LocalAI要装依赖。有没有一个东西，装好就能用？有，Ollama。

📝 详情

Ollama是什么

Ollama是一个极简的本地大模型运行工具。它的设计哲学就是一句话：装好就能用。

# 装Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 跑一个模型
ollama run qwen2.5

没了。不用配Python环境、不用装CUDA、不用管模型文件放哪。

安装

macOS / Linux

curl -fsSL https://ollama.com/install.sh | sh

Windows

去 ollama.com 下载安装包，双击安装。

装完打开终端：

ollama --version

看到版本号就是装好了。

下载并运行模型

# 下载并自动运行 Qwen2.5（默认7B）
ollama run qwen2.5

# 指定参数
ollama run qwen2.5:14b  # 14B版本
ollama run deepseek-r1:7b  # DeepSeek R1
ollama run llama3.2:3b  # 小模型，跑得飞快

第一次运行会自动下载模型（大概4-8GB），之后就不用再下了。

推荐模型清单

模型 命令 大小 速度(4060) 最佳用途
Qwen2.5-7B ollama run qwen2.5 4.5GB 快 日常中文对话
DeepSeek-R1-7B ollama run deepseek-r1:7b 4.5GB 快 中文推理/数学
Qwen2.5-14B ollama run qwen2.5:14b 8.5GB 中等 高质量输出
Llama 3.2-3B ollama run llama3.2:3b 2.2GB 飞快 英文简单任务
Gemma 3-27B ollama run gemma3:27b 16GB 慢 需要大显存
CodeGemma ollama run codegemma 5GB 快 代码生成

API模式

Ollama自带OpenAI兼容API，启动后直接调：

# 默认 Ollama 已经后台运行在 :11434
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5",
    "messages": [{"role": "user", "content": "介绍一下你自己"}]
  }'

这意味着你所有基于OpenAI写的代码，把base_url改成localhost:11434就能用本地模型。

自定义模型

Ollama支持创建自己的模型：

# Modelfile
FROM qwen2.5
SYSTEM "你是一个专业的Python编程助手。回答要简洁，给出代码示例。"

ollama create my-python-assistant -f Modelfile
ollama run my-python-assistant

图形界面

Ollama只是个后端，没有UI。搭配这些前端更好用： - Open WebUI — 最好看，功能最全 - Chatbox — 桌面客户端 - Continue — VS Code插件，写代码时用

一句话

Ollama是目前把大模型本地化门槛降到最低的工具。没有之一。

相关文章