Qwen3本地部署：阿里最强开源模型上手教程

📘 AI教程 💬 🔥 Trending 发布者: leakey
Qwen3本地部署：阿里最强开源模型上手教程

🩺 摘要

阿里的Qwen3是目前综合能力最强的中文开源模型之一。代码、对话、翻译、推理都在一线水平。怎么在本地跑起来？

📝 详情

Qwen3版本选择

Qwen3根据你的显存选择版本：

版本 显存需求 速度 效果
Qwen3-7B (Q4) 6GB 快 好
Qwen3-14B (Q4) 10GB 中等 很好
Qwen3-32B (Q4) 20GB 慢 极好

推荐7B版本，性价比最高。

安装

# Ollama（最简单）
ollama run qwen3:7b

# 或者用GGUF
# 从HuggingFace下载
huggingface-cli download Qwen/Qwen3-7B-Instruct-GGUF qwen3-7b-instruct-q4_k_m.gguf --local-dir ./models

# 用llama.cpp跑
./llama-cli -m ./models/qwen3-7b-instruct-q4_k_m.gguf -p "你好"

API模式

ollama run qwen3:7b  # 后台运行中

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:7b",
    "messages": [{"role": "user", "content": "用Python写一个快速排序"}]
  }'

Coder版本

写代码用Qwen3的Coder版本：

ollama run qwen3-coder:7b

代码能力跟DeepSeek Coder在同一水平，对Python/TypeScript/Java支持特别好。

总体来说，Qwen3是目前开源模型里最均衡的选择。没有明显短板，各方面都在第一梯队。