AI模型部署教程：从Notebook到生产API的7个步骤

📘 教程 2026-08-01 · 更新于 2026-08-24 约 8 分钟阅读

从Jupyter笔记本到生产API的完整7步：模型导出、推理引擎、API服务、容器化、部署、监控、回滚。

💡 你将学到

从Jupyter笔记本到生产API的完整7步：模型导出、推理引擎、API服务、容器化、部署、监控、回滚。

📜 目录

第1步：导出模型——选对格式
第2步：选推理引擎
第3步：写 API 服务
第4步：容器化
第5步：部署
第6步：监控
第7步：版本回滚
常见问题
相关文章

AI模型部署教程：从Notebook到生产API的7个步骤

大多数模型死在笔记本里：训练完、评估完、然后就没有然后了。本文给出从 PyTorch 模型到生产 API 的完整 7 步路径，每一步讲清楚"做什么、用什么、注意什么"。

第1步：导出模型——选对格式

训练好的模型要先导出成推理友好的格式：

格式	适用	说明
safetensors	PyTorch/Transformers 生态	安全、加载快，HF 默认
GGUF	llama.cpp/Ollama 本地推理	量化友好，CPU 也能跑
ONNX	跨框架、边缘设备	可转 TensorRT/OpenVINO

LLM 场景：transformers 模型直接保存 safetensors；要上 llama.cpp 系就用官方转换脚本导出 GGUF 并量化（如 Q4_K_M）。

第2步：选推理引擎

vLLM（GitHub 8.7万+ 星）：LLM 生产部署的事实标准，PagedAttention + 连续批处理，单张 A100 上可支撑 100+ 并发请求、首 token 延迟低于 500ms（典型数据，具体看模型和配置）
TGI（Hugging Face）：功能全，企业友好
llama.cpp 系：小模型、CPU、低显存场景
Triton / TensorRT-LLM：极致性能，运维复杂

小模型（7B 量化）甚至可以从 CPU 起步，先用 llama.cpp 验证，量大了再上 GPU。

第3步：写 API 服务

用 FastAPI 包一层（vLLM 自带 OpenAI 兼容服务，也可以自己写）：

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class ChatRequest(BaseModel):
    prompt: str
    max_tokens: int = 512

@app.post("/chat")
def chat(req: ChatRequest):
    # 调用你的推理引擎
    return {"reply": generate(req.prompt, req.max_tokens)}

要点：统一 OpenAI 兼容格式（方便以后换引擎/供应商）、加超时与重试、请求体校验。

第4步：容器化

写 Dockerfile，把模型权重和推理服务打进镜像：

FROM pytorch/pytorch:2.1-cuda12.1-cudnn8-runtime
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]

模型权重有两种处理：打进镜像（简单，但镜像巨大）或挂载数据卷（推荐，更新权重不用重建镜像）。

第5步：部署

三条路线： - 单机 Docker：个人/小团队最省事，docker compose up -d 就上线 - Kubernetes：多副本、自动伸缩、滚动更新，团队标配但运维成本高 - Serverless（如云函数）：按调用付费，适合低频或波动大的服务；注意冷启动和执行时长限制

GPU 服务记得配 GPU 调度（K8s device plugin 或 Docker --gpus）。

第6步：监控

上线只是开始，要能回答三个问题： - 性能：延迟（TTFT/TPOT）、吞吐、GPU 利用率 → Prometheus + Grafana - 质量：回答质量、幻觉率、用户反馈 → Langfuse（2.8万+ 星）这类 LLM 可观测工具，记录每次调用的输入输出 - 成本：token 消耗、单请求成本 → 给调用打标签，按周看分布