Hugging Face微调实战2026：TRL+PEFT完成SFT和DPO

Hugging Face有多个训练库，选择让人眼花。这里给出TRL+PEFT做监督微调和偏好对齐的确切流程。

💡 你将学到

Hugging Face有多个训练库，选择让人眼花。这里给出TRL+PEFT做监督微调和偏好对齐的确切流程。

2026年Hugging Face微调两个库覆盖九成需求：PEFT（2.15万星）做LoRA/QLoRA参数高效微调，TRL（1.9万星）提供SFT、DPO、PPO高级Trainer。流程一SFT：准备指令-回答对数据集，用SFTTrainer加LoRA（r=16）训练，QLoRA加load_in_4bit可省4倍显存。流程二DPO：数据集只需(prompt, chosen, rejected)三列，不需要奖励模型，这就是开源界DPO取代大部分RLHF的原因；DPOTrainer会自动对比好答案和坏答案。最大的坑：loss下降不等于模型变好，SFT/DPO后必须在留出集上评估格式合规率、拒答率和人工偏好对比。全流程：原始数据、格式化指令对、LoRA做SFT、合并适配器、DPO偏好对齐、评估、推到Hub，两个训练跑完，一个周末，得到一个真正更好的模型。