使用 LoRA 与 Hugging Face PEFT 在私有领域数据集上微调百川（Baichuan）大模型

在金融、医疗、法律与企业知识库等垂直业务场景中，直接调用公有云 API 往往难以满足严格的数据出境合规、隐私保护以及深度领域知识注入的需求。基于开源底座模型在本地私有集群上进行领域微调，已成为 NLP 算法团队的标准工程路径。百川智能（Baichuan）系列开源模型（包括 Baichuan-7B/13B 与 Baichuan2-7B/13B 的 Base 和 Chat 版本）凭借 2.6 万亿 Token 的高质量中英文预训练语料、125,696 超大词表以及专门针对长文本和输出层稳定性的底层设计，成为中文与双语专业场景中的主流选择。

通过 Hugging Face 的轻量级微调库 peft（Parameter-Efficient Fine-Tuning）与低秩自适应算法（LoRA），工程师仅需更新原模型不足 1% 的参数量，即可在一张消费级 24GB 显卡（通过 4-bit QLoRA）或单张 80GB A100/H100（bfloat16 全精度）上，高效完成领域专有知识的注入与对齐。

1. 百川模型的核心架构特性与工程差异

在编写微调脚本前，NLP 工程师必须理解百川模型区别于标准 LLaMA 架构的几处关键底层设计：

1. 超大 BPE 词表与分词效率：百川采用 125,696 规模的 BPE 词表，对中文常见技术术语、成语和专有名词具有极高的切分压缩率。相比 LLaMA 架构分词器，相同中文领域语料的 Token 序列长度缩短 15% 到 20%，能有效降低序列打包时的显存峰值开销。
2. 位置编码选型（7B 与 13B 的差异）：
   • 7B 模型：使用旋转位置编码（RoPE），支持标准 4096 上下文窗口。
   • 13B 模型：采用线性偏置注意力（ALiBi）。ALiBi 不在 Query 和 Key 向量中显式叠加位置向量，而是直接在注意力打分矩阵上施加基于距离的惩罚斜率，对于长合同、长病历等长文本的推理外推能力更优。
3. 输出层权重归一化（NormHead）：Baichuan 2 在预训练阶段引入了对输出线性层（lm_head）权重的归一化处理。该技术弱化了低频词嵌入模长对 Softmax 计算的扰动，使得语义表征更依赖余弦相似度。在 LoRA 微调中，切忌轻易将 lm_head 纳入可训练模块，以免破坏预训练权重归一化的输出分布。
4. 自定义模型代码依赖：百川模型包含专有的网络定义与分词逻辑，在 Hugging Face 加载时必须显式声明 trust_remote_code=True。

2. 私有领域数据预处理与特殊控制符规范

垂直业务的数据集通常为内部工单、合规问答、医疗问诊或专家标注问答。在进行指令微调（SFT）时，百川模型依赖专用的角色界定符构建多轮对话：

• <reserved_106>（Token ID: 195）：标记用户（Human）输入的开始。
• <reserved_107>（Token ID: 196）：标记助手（Assistant）回答的开始。

数据集格式（ShareGPT 规范）

建议将专有数据统一整理为 JSON 或 JSONL 格式的多轮对话序列：

[
  {
    "conversations": [
      {
        "from": "human",
        "value": "根据我司跨境资金结算规定，超过等值五万美元的单笔对外支付需要履行哪些合规审批？"
      },
      {
        "from": "assistant",
        "value": "根据《内部资金合规管理办法》第 4.2 条，单笔超过等值 5 万美元的跨境支付须经双签字合规复核，并在系统发起反洗钱（AML）自动化初审与外汇申报凭证归档。"
      }
    ]
  }
]

提示词掩码（Prompt Loss Masking）

在有监督微调中，避免模型“死记硬背”提示词格式至关重要。标准工程做法是对从 <reserved_106> 开始至 <reserved_107> 结束的所有 Prompt Token，在计算交叉熵损失时将目标标签（Labels）置为 -100。模型反向传播的梯度仅来源于 <reserved_107> 之后助手生成的实际回答部分及序列结束符（</s> 或 <reserved_107>）。

3. 百川 LoRA 微调配置策略与超参数选择

LoRA 的核心思想是将参数增量 $\Delta W$ 分解为两个低秩矩阵的乘积：$W = W_0 + \frac{\alpha}{r}(B \cdot A)$。

目标层选择（target_modules）

早期微调习惯仅针对注意力机制的 q_proj 和 v_proj 挂载低秩矩阵，但这在深度领域适配任务中往往表现出泛化不足。当前学术界与工业界的主流共识是覆盖所有投影线性层：

• 自注意力层（Self-Attention）：q_proj、k_proj、v_proj、o_proj
• 前馈网络层（MLP）：gate_proj、up_proj、down_proj

在较新版本的 peft 中，直接设置 target_modules="all-linear" 即可自动识别百川 Transformer 模块内的全部线性层。

核心参数推荐配置

4. 完整工程实现脚本（基于 Transformers 与 PEFT）

以下是一份可在本地单卡或单节点运行的完整 QLoRA 微调脚本，集成了 4-bit 权重量化、提示词损失掩码与 PEFT 配置：

import torch
from datasets import load_dataset
from transformers import (
    AutoTokenizer,
    AutoModelForCausalLM,
    BitsAndBytesConfig,
    TrainingArguments,
    Trainer,
    DataCollatorForSeq2Seq
)
from peft import (
    LoraConfig,
    get_peft_model,
    prepare_model_for_kbit_training,
    TaskType
)

model_id = "baichuan-inc/Baichuan2-7B-Base"

# 1. 初始化 Tokenizer
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
    use_fast=False
)
if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

# 2. 4-bit 量化配置（QLoRA）
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

# 3. 加载基础模型
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
)

# 4. 适配量化训练环境
model = prepare_model_for_kbit_training(model)

# 5. 配置 LoRA 模块
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ]
)

model = get_peft_model(model, peft_config)
model.print_trainable_parameters()

# 6. 数据预处理与标签掩码（Masking）
USER_TOKEN_ID = 195  # <reserved_106>
ASSISTANT_TOKEN_ID = 196  # <reserved_107>

def preprocess_function(example):
    input_ids = []
    labels = []
    
    for message in example["conversations"]:
        if message["from"] == "human":
            prompt_tokens = [USER_TOKEN_ID] + tokenizer.encode(message["value"], add_special_tokens=False)
            input_ids.extend(prompt_tokens)
            labels.extend([-100] * len(prompt_tokens))
        elif message["from"] == "assistant":
            resp_tokens = [ASSISTANT_TOKEN_ID] + tokenizer.encode(message["value"], add_special_tokens=False) + [tokenizer.eos_token_id]
            input_ids.extend(resp_tokens)
            labels.extend(resp_tokens)
            
    return {"input_ids": input_ids[:2048], "labels": labels[:2048]}

dataset = load_dataset("json", data_files="domain_data.jsonl")
tokenized_dataset = dataset["train"].map(preprocess_function, remove_columns=["conversations"])

# 7. 训练超参数设定
training_args = TrainingArguments(
    output_dir="./baichuan2-lora-output",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.05,
    logging_steps=10,
    num_train_epochs=3,
    gradient_checkpointing=True,
    bf16=True,
    save_strategy="epoch",
    report_to="none"
)

# 8. 启动微调
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
    data_collator=DataCollatorForSeq2Seq(tokenizer, pad_to_multiple_of=8, return_tensors="pt")
)

trainer.train()

# 9. 保存 LoRA 适配器权重
model.save_pretrained("./baichuan2-domain-lora-adapter")
tokenizer.save_pretrained("./baichuan2-domain-lora-adapter")

5. 权重合并与生产级推理部署

在企业生产服务中，如果直接在运行时动态加载 LoRA 适配器，会引入额外的矩阵乘法计算图分支，并阻碍高性能推理框架（如 vLLM、Triton、LMDeploy）的算子融合优化。标准工程做法是在发布环节执行离线融合，生成单体全量模型。

离线融合脚本（Merge and Unload）

特别注意：切勿在 4-bit 量化后的模型对象上直接调用合并操作。应当在宿主机内存或具备足够显存的环境中，以 bfloat16 加载未量化的原始底座模型，再载入适配器进行权重加和：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_path = "baichuan-inc/Baichuan2-7B-Base"
adapter_path = "./baichuan2-domain-lora-adapter"
export_path = "./baichuan2-7b-domain-merged"

tokenizer = AutoTokenizer.from_pretrained(base_model_path, trust_remote_code=True)

# 以非量化精度加载底座模型
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_path,
    torch_dtype=torch.bfloat16,
    device_map="cpu",  # 若显存充裕可置为 "cuda"
    trust_remote_code=True
)

peft_model = PeftModel.from_pretrained(base_model, adapter_path)
merged_model = peft_model.merge_and_unload()

# 导出为标准 Hugging Face 权重格式
merged_model.save_pretrained(export_path, safe_serialization=True)
tokenizer.save_pretrained(export_path)

导出后，即可直接在生产服务中使用 vLLM 进行高并发部署： vllm serve ./baichuan2-7b-domain-merged --trust-remote-code。

6. 工程选型建议与避坑指南

1. 底座选型（Base vs. Chat）：
   • 如果业务任务是结构化输出、SQL 生成、信息抽取或严格按模板填空，建议选用 Baichuan2-Base，避免原有对话对齐数据干扰输出格式。
   • 如果业务侧重智能客服、多轮答疑或角色扮演助手，建议基于 Baichuan2-Chat 继续微调，以继承原有对话安全性和语气连贯性。
2. 长文本场景的模型选择（7B vs. 13B）：
   • 当需要处理超长文档（如百页合同或病历综述）时，优先选择搭载 ALiBi 位置编码的 13B 模型，其在长距离上下文依赖中的注意力衰减控制优于 7B（RoPE）。
   • 7B 模型则具有推理延时低、显存占用小的优势，适合吞吐量要求高且上下文长度在 4,000 Token 以内的业务。
3. 防止灾难性遗忘：
   • 在私有领域数据集训练时，建议混入 5%~10% 的通用中文通用指令数据（如通用问答、逻辑推理），在强化垂直领域能力的同时维持通用语言理解能力。

参考资料

• GitHub - baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology
• GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
• [2309.10305] Baichuan 2: Open Large-scale Language Models
• [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models