使用 LoRA 與 Hugging Face PEFT 在私有領域資料集上微調百川（Baichuan）大模型

在金融、醫療、法律以及企業知識庫等垂直領域應用中，直接呼叫公有雲 API 往往受限於資料合規、隱私安全與深度領域知識注入的瓶頸。基於開源基底模型在本地私有環境進行領域微調，已成為 NLP 工程團隊的核心解決方案。百川智能（Baichuan）系列模型（涵蓋 Baichuan-7B/13B 與 Baichuan2-7B/13B 的 Base 和 Chat 版本）憑藉 2.6 兆 Token 的高品質雙語預訓練語料、125,696 規模的超大詞表，以及針對長文本與輸出層穩定性的底層架構設計，成為中文與雙語專業領域的主流選擇。

透過 Hugging Face 的參數高效微調庫 peft（Parameter-Efficient Fine-Tuning）與低秩自適應演算法（LoRA），工程師僅需更新原模型不足 1% 的參數量，即可在單張消費級 24GB 顯示卡（透過 4-bit QLoRA）或單張 80GB A100/H100（bfloat16 全精度）上，高效完成領域專屬知識的注入與對齊。

1. 百川模型的關鍵架構特色與工程差異

在構建微調流程前，NLP 工程師必須釐清百川模型有別於一般 LLaMA 架構的幾項關鍵技術特點：

1. 超大 BPE 詞表與分詞壓縮率：百川採用高達 125,696 規模的 BPE 詞表，對中文技術專有名詞、成語和領域專業術語具有極高的切分壓縮比。相較於標準 LLaMA 詞表，相同中文領域語料的 Token 序列長度可縮短 15% 至 20%，能有效降低批次訓練時的顯存（VRAM）峰值開銷。
2. 位置編碼架構（7B 與 13B 的差別）：
   • 7B 模型：採用旋轉位置編碼（RoPE），提供標準 4096 上下文窗口。
   • 13B 模型：採用線性偏置注意力（ALiBi）。ALiBi 直接在注意力權重矩陣上疊加距離懲罰斜率，而非在 Query 與 Key 向量中疊加位置向量，對於多頁合約、長病歷等長文本具備更優異的上下文長度外推能力。
3. 輸出層權重正規化（NormHead）：Baichuan 2 在預訓練階段對輸出線性投影層（lm_head）實施了權重正規化。這項技術降低了低頻詞向量模長對 Softmax 計算的干擾，使語義表徵更傾向於餘弦相似度。在進行 LoRA 參數微調時，切勿輕易將 lm_head 列入訓練模組，否則極易破壞預訓練的正規化分佈。
4. 自訂模型程式碼載入機制：百川模型包含專屬的網絡實作與分詞器程式碼，於 Hugging Face Transformers 載入時必須明確指定 trust_remote_code=True。

2. 私有領域資料預處理與特殊控制標記

企業私有資料集通常由客服對話、法規指引、專業問答或診斷摘要構成。在進行指令微調（SFT）時，百川模型透過專屬角色控制標記進行對話輪次區隔：

• <reserved_106>（Token ID: 195）：標示使用者（Human）提示詞的起始點。
• <reserved_107>（Token ID: 196）：標示助理（Assistant）回覆的起始點。

資料集格式（ShareGPT 規範）

建議將專有資料整理為 JSON 或 JSONL 格式的結構化對話序列：

[
  {
    "conversations": [
      {
        "from": "human",
        "value": "依據我司跨境資金管理辦法，超過五萬美元的單筆對外付款需要完成哪些合規審批流程？"
      },
      {
        "from": "assistant",
        "value": "根據《內部資金合規手冊》第 4.2 條規定，單筆逾 5 萬美元之跨境匯款須經雙主管簽核覆核，並於系統觸發反洗錢（AML）自動查核與外匯申報憑證建檔作業。"
      }
    ]
  }
]

提示詞標籤遮罩（Prompt Loss Masking）

在監督式微調過程中，避免模型消耗參數量去背誦輸入問題是至關重要的工程準則。標準做法是將自 <reserved_106> 起至 <reserved_107> 止的所有 Prompt Token，於損失計算時將目標標籤（Labels）設定為 -100。如此一來，梯度更新完全聚焦於 <reserved_107> 後由助理生成的答案與結束符（</s> 或 <reserved_107>）。

3. 百川 LoRA 微調配置策略與超參數選擇

LoRA 的核心原理是將權重增量 $\Delta W$ 分解為兩個低秩矩陣的乘積：$W = W_0 + \frac{\alpha}{r}(B \cdot A)$。

目標層選擇（target_modules）

過去僅針對注意力機制的 q_proj 與 v_proj 進行低秩適配的做法，在深度垂直領域往往無法充分捕捉複雜的專業邏輯。現代標準實踐推薦覆蓋所有投影線性層：

• 自注意力層（Self-Attention）：q_proj、k_proj、v_proj、o_proj
• 前饋網路層（MLP）：gate_proj、up_proj、down_proj

在當前版本的 peft 庫中，亦可直接設置 target_modules="all-linear"，系統會自動匹配百川架構中的所有線性投影層。

核心參數建議設定

4. 端到端微調實作範例（Transformers + PEFT）

以下為適用於單卡環境的完整 QLoRA 微調程式碼，整合了 4-bit 權重量化、對話損失遮罩與 PEFT 訓練流程：

import torch
from datasets import load_dataset
from transformers import (
    AutoTokenizer,
    AutoModelForCausalLM,
    BitsAndBytesConfig,
    TrainingArguments,
    Trainer,
    DataCollatorForSeq2Seq
)
from peft import (
    LoraConfig,
    get_peft_model,
    prepare_model_for_kbit_training,
    TaskType
)

model_id = "baichuan-inc/Baichuan2-7B-Base"

# 1. 載入分詞器
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
    use_fast=False
)
if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

# 2. 設定 4-bit 量化參數（QLoRA）
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

# 3. 載入基底模型
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
)

# 4. 準備量化訓練環境
model = prepare_model_for_kbit_training(model)

# 5. 配置 LoRA 模組
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ]
)

model = get_peft_model(model, peft_config)
model.print_trainable_parameters()

# 6. 資料預處理與損失遮罩（Masking）
USER_TOKEN_ID = 195  # <reserved_106>
ASSISTANT_TOKEN_ID = 196  # <reserved_107>

def preprocess_function(example):
    input_ids = []
    labels = []
    
    for message in example["conversations"]:
        if message["from"] == "human":
            prompt_tokens = [USER_TOKEN_ID] + tokenizer.encode(message["value"], add_special_tokens=False)
            input_ids.extend(prompt_tokens)
            labels.extend([-100] * len(prompt_tokens))
        elif message["from"] == "assistant":
            resp_tokens = [ASSISTANT_TOKEN_ID] + tokenizer.encode(message["value"], add_special_tokens=False) + [tokenizer.eos_token_id]
            input_ids.extend(resp_tokens)
            labels.extend(resp_tokens)
            
    return {"input_ids": input_ids[:2048], "labels": labels[:2048]}

dataset = load_dataset("json", data_files="domain_data.jsonl")
tokenized_dataset = dataset["train"].map(preprocess_function, remove_columns=["conversations"])

# 7. 設定訓練參數
training_args = TrainingArguments(
    output_dir="./baichuan2-lora-output",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.05,
    logging_steps=10,
    num_train_epochs=3,
    gradient_checkpointing=True,
    bf16=True,
    save_strategy="epoch",
    report_to="none"
)

# 8. 建立 Trainer 並啟動訓練
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
    data_collator=DataCollatorForSeq2Seq(tokenizer, pad_to_multiple_of=8, return_tensors="pt")
)

trainer.train()

# 9. 儲存 LoRA 適配器權重
model.save_pretrained("./baichuan2-domain-lora-adapter")
tokenizer.save_pretrained("./baichuan2-domain-lora-adapter")

5. 權重融合與高吞吐生產部署

在生產微服務環境中，若直接以動態外掛方式載入 LoRA 權重，會增加計算圖分支並阻礙如 vLLM、Triton 或 LMDeploy 等高效推理引擎的算子融合優化。標準工程處置流程是在模型交付時執行離線權重融合。

離線融合腳本（Merge and Unload）

注意事項：請勿直接對 4-bit 量化後的模型調用融合操作。應於具備足夠主記憶體或顯存的環境中，以 bfloat16 載入未量化的原始基底模型，再掛載 LoRA 權重並呼叫 merge_and_unload()：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_path = "baichuan-inc/Baichuan2-7B-Base"
adapter_path = "./baichuan2-domain-lora-adapter"
export_path = "./baichuan2-7b-domain-merged"

tokenizer = AutoTokenizer.from_pretrained(base_model_path, trust_remote_code=True)

# 載入未量化的基底模型
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_path,
    torch_dtype=torch.bfloat16,
    device_map="cpu",  # 若 GPU 記憶體充足可設為 "cuda"
    trust_remote_code=True
)

peft_model = PeftModel.from_pretrained(base_model, adapter_path)
merged_model = peft_model.merge_and_unload()

# 匯出標準 Hugging Face 模型格式
merged_model.save_pretrained(export_path, safe_serialization=True)
tokenizer.save_pretrained(export_path)

融合完成後，即可直接透過 vLLM 啟動高吞吐 API 服務： vllm serve ./baichuan2-7b-domain-merged --trust-remote-code。

6. 工程選型與實務考量

1. 基底模型選型（Base vs. Chat）：
   • 針對結構化輸出提取、SQL 生成、實體識別或特定範本轉換任務，優先選用 Baichuan2-Base，避免預訓練的對話安全語氣對輸出格式產生干擾。
   • 針對多輪客服機器人、諮詢代理人或遵循特定口吻的對話應用，建議選用 Baichuan2-Chat 進行二次對齊。
2. 長文本推理選型（7B vs. 13B）：
   • 處理超過 4,000 Token 的長文檔分析（如招股說明書、司法判決書）時，搭載 ALiBi 位置編碼的 13B 模型在長距離依賴下的外推穩定性顯著優於 7B。
   • 7B 模型具備較低的推理延遲與顯存佔用，適合高並發、單輪或短多輪交互場景。
3. 災難性遺忘防範：
   • 在專有資料集微調時，建議混入 5% 至 10% 的通用語言問答與邏輯推理資料，以在強化領域專業度的同時保持基礎語義理解能力。

參考資料

• GitHub - baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology
• GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
• [2309.10305] Baichuan 2: Open Large-scale Language Models
• [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models