【官方常见问题精选】欢迎在下方补充你的经验或追问。

LoRA 是一种“参数高效微调”方法：不改动原模型的全部权重，只训练一小部分额外的低秩矩阵，所以显存和时间成本比全量微调低得多。QLoRA 进一步把基础模型以 4-bit 加载，让消费级显卡也有机会微调中小模型。

大致条件（仅为粗略估计）：

• 7B～8B 左右的模型，用 QLoRA 一般需要十几 GB 级别的显存；模型越大、序列越长，需求越高。
• 数据：通常几百到几千条高质量样本就可以看到效果，质量比数量重要。
• 常用工具：Unsloth、LLaMA-Factory、Axolotl、Hugging Face 的 PEFT 与 TRL。

基本步骤：整理成“指令-回答”或多轮对话格式 → 选择基础模型（用对应的 Instruct 版本更省事）→ 配置 LoRA 参数并训练 → 评估 → 合并权重或加载适配器 → 转成 GGUF 等格式部署。

微调还是 RAG？

• 需要最新、可更新的知识（产品文档、内部资料）：优先 RAG，更新文档即可，不用重训。
• 需要固定的风格、格式、语气或特定任务行为：适合微调。
• 微调并不擅长“可靠地灌输大量事实”，容易记错或遗忘；两者也可以结合使用。

风险提醒：训练数据里不要包含敏感信息；微调后一定要用没见过的数据评估，过拟合很常见。

你想微调什么场景？欢迎说说你的数据情况。