LLM调优方法详解：提示调优vs LoRA vs全量微调
LLM调优方法详解：提示调优vs LoRA vs全量微调
💡 你将学到
LLM调优方法详解：提示调优vs LoRA vs全量微调
📜 目录
LLM调优方法详解：提示调优vs LoRA vs全量微调
想让模型更懂你的业务，有四条路：提示工程、RAG、LoRA微调、全量微调。它们的成本从零到上万，效果边界完全不同。选错方法轻则白花钱，重则把模型越调越差。这篇按成本递增把四条路讲清楚，并给出一张可以直接用的决策表。
一、总览：四条路对比
| 方法 | 成本 | 需要数据 | 显存需求 | 擅长 | 上线速度 |
|---|---|---|---|---|---|
| 提示工程 | 0 | 0 | 0 | 改风格、改输出格式 | 分钟级 |
| RAG | 低（检索服务） | 文档即可 | 0 | 注入事实、知识问答 | 小时级 |
| LoRA/QLoRA | 低-中 | 几百到几千条 | 8-24GB | 学领域风格、固定任务 | 天级 |
| 全量微调 | 高 | 几万条起 | 24GB以上 | 新语言、能力跃迁 | 周级 |
二、提示工程：零成本先试
把需求写进system prompt：改语气、改格式、加示例（few-shot）。适合输出风格、结构化输出、简单规则类需求。局限：模型不知道的事实，提示词塞不进去；复杂的领域行为，提示词管不住。
三、RAG：知识任务默认方案
把资料切片、向量化、存向量库，查询时检索相关片段拼进上下文。适合公司知识库问答、产品文档助手、需要引用来源的场景。优点：知识可随时更新（改文档就行，不用重训）、回答有据可查。局限：检索质量决定上限，答非所问往往是召回环节出了问题。
四、LoRA/QLoRA：领域微调的主力
LoRA只训练原模型0.1%-1%的适配器参数，7B模型在单张24GB显卡上1-2小时能跑完一轮，成本比全量微调低一个量级。QLoRA再加一层4-bit量化，8GB显存也能训练小模型。常用工具：Hugging Face PEFT、LLaMA-Factory、Unsloth。适合：学特定文风（客服话术、报告腔）、固定任务（信息抽取、分类）、让模型遵守内部规范。注意：LoRA不擅长给模型灌新事实（那是RAG的活），它学的是"行为方式"。
五、全量微调：什么时候才值得
更新全部权重，效果最强，但数据需求（通常几万条起）、显存（LoRA的4-8倍）、成本都最高。只有两种情况值得：模型缺少你要的语言或能力（如新语种、特殊领域），以及LoRA已经到上限、确认瓶颈在模型本身。多数团队永远用不到。
六、决策表：怎么选
| 你的诉求 | 首选方案 |
|---|---|
| 输出格式/语气不对 | 提示工程 |
| 回答缺事实、爱编造 | RAG |
| 业务术语和行文风格要学 | LoRA/QLoRA |
| 要模型遵守内部规则 | LoRA（提示词管不住的规则） |
| 支持新语言/全新能力 | 全量微调（先确认没有现成模型） |
七、三个常见误区
- "微调能灌知识"：错。灌知识用RAG。微调学行为，RAG给事实
- "数据越多越好"：错。几百条高质量配对数据胜过几万条脏数据。先人工整理100条看效果
- "微调完一劳永逸"：错。模型更新、业务变化都要重新评估，微调版要跟基座版做A/B对比
常见问题
Q：8GB显存能微调吗？ A：QLoRA可以训7B，LLaMA-Factory和Unsloth对低显存优化很好，速度慢一些但能跑。
Q：LoRA训练要多少条数据？ A：视任务而定。风格模仿几百条就有效果，固定任务通常1000-5000条。数据质量远重要于数量。
Q：RAG和微调能一起用吗？ A：能，而且是常见组合：RAG提供事实，微调让模型用业务语气组织答案。建议先单独调好RAG，再考虑微调。
Q：微调后模型变笨了？ A：典型过拟合。减学习率、增加数据多样性、跟基座模型A/B对比；发现通用能力下降就回到更小的适配器。
注：训练成本取决于GPU型号与时长，具体以云厂商定价页为准；框架版本和显存需求随更新变化。
相关文章
❓ 常见问题
Is RAG a tuning method?
Technically no, but it solves the same user problem, so it belongs in the decision.
Can I combine LoRA and RAG?
Yes - they are orthogonal; use LoRA for behavior and RAG for knowledge.
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
