第一章?煉丹爐排行榜：六把開源“神器”橫評

選型建議

• 個人開發者：1 小時跑通 LoRA → LLaMA?Factory
• 企業團隊：需要 RLHF、DPO、ORPO 全鏈路 → LLaMA?Factory + SageMaker
• 單卡極限：僅有?4090，追求最高性價比 → unsloth

第二章?火候三味：全參數 vs PEFT vs LoRA

1. 全參數微調（Full Fine?Tuning）

   • 優點：最純正的“藥性”
   • 缺點：顯存 & 成本驚人
   • 示例：7B FP16?≈?28?GB，65B?≈?260?GB

2. PEFT（Parameter?Efficient Fine?Tuning）

   • 只煉外層“藥皮”，保留核心權重
   • Adapter 參數?<?1%?模型體量
   • 優勢：顯存 & 費用大幅下降

3. LoRA?&?QLoRA

   • LoRA：7B + rank=64 → 顯存降至?12?GB，性能損失 <?3%
   • QLoRA：再配合?4?bit?量化，7B?6?GB?即可跑，4090?單卡可訓

   任務復雜度 ↑
            │     全參數
            │  P?Tuning v2
            │      LoRA
            │     QLoRA
   └────────→ 資源預算

第三章?柴薪清單：GPU/顯存/費用速查

省錢技巧：

• SageMaker Spot 實例最低?3?折可用，訓練中斷自動恢復；
• ModelHub 勾選「Spot+Checkpoint」，系統自動保存斷點。

第四章?爐鼎實操：兩種主流路徑

路徑?A：SageMaker BYOC（Bring Your Own Container）

1. 制作鏡像

   FROM 763104351884.dkr.ecr.cn-northwest-1.amazonaws.com.cn/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04
   RUN pip install llama-factory[metrics,bitsandbytes]
   COPY ./scripts /opt/ml/code
   ENV SAGEMAKER_PROGRAM train.py

2. 上傳數據到 S3

   aws s3 cp dataset.jsonl s3://your-bucket/data/

3. 啟動訓練任務

   from sagemaker.pytorch import PyTorch
   estimator = PyTorch(
      entry_point='train.py',
      role=role,
      image_uri='…/llama-factory:latest',
      instance_type='ml.g5.12xlarge',
      use_spot_instances=True,
      checkpoint_s3_uri='s3://your-bucket/checkpoints/',
      hyperparameters={…}
   )
   estimator.fit({'train': 's3://your-bucket/data/'})

路徑?B：ModelHub 無代碼平臺

1. CloudFormation 一鍵部署（5?min）
2. 控制臺上傳數據集（拖拽 JSONL）
3. 選模型 → LoRA → 調滑塊（epoch / lr / rank）
4. 點擊「開始訓練」，實時監控 loss（W\&B 已集成）
5. 訓練完成后「部署 Endpoint」，獲得 RESTful?API

第五章?煉丹口訣：超參數調校心法

1. 學習率?(lr)

   • 7B?LoRA：2e?4 \~ 5e?4
   • 65B?LoRA：5e?5 \~ 1e?4

2. Epoch?& Early Stop

   • < 10?k 樣本：3–5?epoch + early stop patience=1
   • > 100?k 樣本：1–2?epoch 即可，防止過擬合

3. Batch?Size?& 梯度累積

   per_device_train_batch_size=1
   gradient_accumulation_steps=32

   等同 global batch=32，但顯存僅算1條。

4. Warmup?& Scheduler

   • warmup_ratio=0.03
   • scheduler=cosine（余弦退火）

第六章?火候監控：指標儀表盤搭建

• CloudWatch：train/loss、eval/loss、learning_rate、GPUUtilization

• Weights &?Biases：

  import wandb
  wandb.init(project='llama2-7b-alpaca-zh')

  一行代碼接入，自動記錄 loss、grad_norm、文本樣本，并通過 sweep 快速對比多組超參。

• 人類反饋閉環：FastChat + Gradio，用戶點贊/踩 → 數據寫回 S3，下一輪 RLHF 繼續精煉。

第七章?常見問題 & 靈丹妙方

第八章?結丹 & 收丹

1. 合并 LoRA

   python scripts/export_model.py \
    --model_name_or_path NousResearch/Llama-2-7b-hf \
    --adapter_name_or_path ./saves/llama2-7b-lora \
    --export_dir ./models/llama2-7b-chat

2. 量化壓縮

   • GPTQ 4?bit → 顯存再減半，速度×1.3
   • AWQ 4?bit → 精度更高，推薦 TGI/vLLM 部署

3. 評估

   • 自動：C-Eval、CMMLU、MMLU
   • 人工：100 條業務 badcase，3?人盲評

4. 部署

   • SageMaker Endpoint：彈性伸縮，支持?1000?QPS
   • Serverless Inference：零流量時零成本，適合低頻場景

大語言模型微調不是一錘子買賣，而是「數據 → 訓練 → 評估 → 數據」的螺旋上升。今天你或許只煉得“小還丹”，但只要持續迭代，終有一日定能煉成“九轉金丹”。

原文引自：https://aws.amazon.com/cn/blogs/china/practical-series-on-fine-tuning-large-language-models-part-two/