AI模型训练2026：从预训练到微调的完整流程
预训练、继续预训练、微调、对齐这几个词经常被混着用，结果一上来就想"训个自己的模型"。实际上九成需求落在流水线的最后一段，搞清楚自己在哪一段，能省下整台服务器的钱。
AI模型训练2026：从预训练到微调的完整流程
"训练一个自己的模型"这句话里藏着四种完全不同的活：从零预训练、继续预训练、指令微调、偏好对齐。成本差三四个数量级，工具链也不一样。多数项目的真实需求是第三段，但常常从第一段的预算开始谈。
这篇按流水线走一遍，每段说清三件事：谁该做、要多少资源、用什么工具。
阶段一：预训练（几乎不用碰）
从随机初始化开始，在万亿级 token 上训练。这是真正烧钱的环节，前沿模型动辄数千万美元级的 GPU 时间，还要配套的数据清洗管线和分布式训练工程。
你需要它的产出，不需要它的过程：直接从 Hugging Face 下载开源基座模型。选基座看三件事——目标语言的能力、许可证是否允许商用、社区是否有成熟的微调工具支持。
阶段二：继续预训练（领域适配用）
如果目标领域有大量无标注文本（法律判例、医疗指南、某行业的工单记录），并且通用模型在这个领域的用词、术语、表达习惯明显不合拍，可以拿基座模型用自己的文本再训一段。
| 项 | 说明 |
|---|---|
| 数据形态 | 纯文本，不需要问答对 |
| 数据量 | 千万 token 起，太少学不到领域分布 |
| 训练方式 | 全参或 LoRA，学习率远低于微调 |
| 风险 | 容易把通用能力训退化，必须留通用能力回归测试 |
| 什么时候值得 | 领域术语密集、通用模型明显外行 |
这一步最常被高估。多数"模型不懂我们行业"的问题，其实是提示词里没给背景，或者 RAG 检索没做好，而不是缺预训练。
阶段三：指令微调（99% 的项目在这里）
拿预训练模型在"指令-回答"对上继续训练，让它学会按你要的格式和语气办事。三种做法，成本差一个数量级：
| 方式 | 训练什么 | 7B 模型显存量级 | 单卡可行 |
|---|---|---|---|
| 全参数微调 | 所有权重 | 80GB 以上（权重+梯度+优化器状态） | 否，需多卡 |
| LoRA（16bit 基座） | 低秩适配器 | 18-22GB | 24GB 卡可以 |
| QLoRA（4bit 基座） | 适配器 + 量化基座 | 8-12GB | 12-16GB 卡可以 |
显存的构成值得记一下：权重、梯度、优化器状态三份。AdamW 的优化器状态按 fp32 存一阶和二阶动量，参数量乘以字节数之后，全参训练的占用是权重的数倍——这就是为什么 7B 全参微调要 80GB 以上，而 QLoRA 一张消费卡就够。
注：以上为量级估算，实际占用随序列长度、batch size、是否梯度检查点变化，部署前以实测为准。
工具怎么选：
| 工具 | 定位 | 适合 |
|---|---|---|
| Unsloth | 单卡/少卡最快 | 快速迭代、QLoRA |
| Axolotl | 配置文件驱动 | 团队协作、多卡、可复现 |
| LLaMA-Factory | 图形界面 + 命令行 | 不想写代码、要覆盖多种模型 |
| TRL / PEFT | 底层库 | 要写自定义训练循环 |
阶段四：对齐（多数人不需要自己做）
微调让模型会办事，对齐让它"办得得体"：遵循指令、拒绝有害请求、语气一致。主流做法是 DPO（直接偏好优化），比 RLHF 简单，只需要"好答案/坏答案"的对比对，不需要训练奖励模型。
这一步通常由模型提供方完成。自建项目里做对齐的前提是：你已经有稳定的偏好数据标注流程，并且指令微调已经收敛。顺序颠倒会白忙。
一条能落地的流程
- 选基座：按语言、许可证、工具支持三条件筛，别按榜单第一名选。
- 建评估集：100-500 条带黄金答案的样本，训练前冻结。
- 标数据：500-5000 条高质量指令对，先标 100 条验证流程。
- 跑 QLoRA：单卡一个 epoch，看评估集分数有没有动。
- 迭代数据：分数不动就回去改数据，不要加 epoch、不要换更大的模型。
- 合并导出：适配器合并回基座，转 GGUF 给 Ollama，或转 AWQ 给 vLLM。
- 上线观测：记录真实请求的失败案例，作为下一轮标注的种子。
第 5 步是最容易被跳过也最值钱的一步。多数"微调没效果"的案例，问题在数据，不在方法。
成本结构
- QLoRA 微调 7B：一张消费级显卡跑几小时，成本是电费。
- 全参微调 7B：多卡数小时到数天，云上按 GPU 小时计费，各家价格差异大，以官网报价为准。
- 继续预训练：数据清洗的人力成本往往高于算力。
- 推理部署：vLLM 或 Ollama，长期成本主要在电和显存占用。
常见问题
Q：能不能不微调，只靠提示词和 RAG？ A：很多场景可以，而且应该先试。提示词解决格式和角色，RAG 解决知识时效。微调解决的是"稳定输出某种风格/结构"和"压缩特定任务的推理成本"，这三件事不要混。
Q：7B 和 70B 怎么选？ A：先看任务难度。抽取、分类、格式转换这类，7B 微调后够用；需要多步推理和长文档理解，70B 的基座能力差距很难靠微调补上。
Q：微调会破坏原有能力吗？ A：会，叫灾难性遗忘。缓解办法是混入 10-20% 的通用指令数据，控制 epoch 在 1-3，学习率不要过高。
Q：怎么判断该继续预训练？ A：如果模型在领域文本上连词都断错、术语全错，考虑继续预训练；如果它只是不知道你公司的最新政策，那是 RAG 的活。
Q：评估集能不能用 LLM 打分？ A：可以做大范围初筛，但最终判定要人工。LLM 打分器本身有偏好偏差，尤其在风格和长度上。
注：显存、时间与价格随硬件、序列长度、云厂商定价变化，本文数字为量级参考，以实测和各家官网为准。
相关文章
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。