Fine-tuning

方式一：Prompt-tuning

什么是Prompt-tuning？

Prompt-tuning通過修改輸入文本的提示（Prompt）來引導模型生成符合特定任務或情境的輸出，而無需對模型的全量參數進行微調。

這種方法利用了預訓練語言模型（PLM）在零樣本或少樣本學習中的強大能力，通過修改輸入提示來激活模型內部的相關知識和能力。

Prompt-tuning

Prompt-tuning核心原理：PLM（預訓練模型）不變，W（模型的權重）不變，X（模型輸入）改變。

Prompt-tuning

Prompt-tuning如何進行Prompt-tuning？小模型適配下游任務設計任務相關提示模板，并微調提示嵌入以引導預訓練模型適應特定任務。僅需微調少量提示嵌入（Prompt Embeddings），而非整個模型參數。

Prompt-tuning

1. 設計提示模板：
   • 模板中應包含任務描述、輸入文本占位符、輸出格式要求等元素。
2. 準備數據集：
   • 數據集應包括輸入文本、真實標簽（對于監督學習任務）或預期輸出格式（對于生成任務）。
3. 微調提示嵌入：
   • 在預訓練模型的輸入層添加提示嵌入層，使用數據集對模型進行訓練，特別是微調提示嵌入。

Prompt-tuning

方式二：Prefix-tuning

什么是Prefix-tuning？

Prefix-tuning是Prompt-tuning的一種變體，它通過在輸入文本前添加一段可學習的“前綴”來指導模型完成任務。

這個前綴與輸入序列一起作為注意力機制的輸入，從而影響模型對輸入序列的理解和表示。由于前綴是可學習的，它可以在微調過程中根據特定任務進行調整，使得模型能夠更好地適應新的領域或任務。

Prefix-tuning

Prefix-tuning核心原理：PLM（預訓練模型）不變，W（模型的權重）不變，X（模型輸入）不變，增加W’（前綴嵌入的權重）。

Prefix-tuning

如何進行Prefix-tuning？

在 Transformer 中適配下游任務

在Transformer模型的輸入層或各層輸入前添加可學習的前綴嵌入，并通過訓練這些前綴嵌入來優化模型在特定任務上的表現。

1. 初始化前綴嵌入
   • 在Transformer模型的輸入層之前，初始化一個固定長度的前綴嵌入矩陣。
2. 將前綴嵌入與輸入序列拼接
   • 將初始化好的前綴嵌入與原始輸入序列的詞嵌入進行拼接，形成新的輸入表示。這個新的輸入表示將作為Transformer模型各層的輸入。
3. 訓練模型
   • 在訓練過程中，模型會根據輸入序列（包括前綴嵌入）和標簽數據進行學習。通過反向傳播算法，模型會更新前綴嵌入的參數。

Prefix-tuning

方式三：LoRA

什么是LoRA？

LoRA（Low-Rank Adaptation）通過分解預訓練模型中的部分權重矩陣為低秩矩陣，并僅微調這些低秩矩陣的少量參數來適應新任務。

對于預訓練權重矩陣W0∈Rd×d??0∈????×??，LoRa限制了其更新方式，即將全參微調的增量參數矩陣ΔWΔ??表示為兩個參數量更小的矩陣A、B，即ΔW = AB。

其中，B∈Rd×r??∈????×??和A∈Rr×d??∈????×??為LoRA低秩適應的權重矩陣，秩r??遠小于d??。

LoRA

核心原理：W（模型的權重）不變，X（模型輸入）不變，分解ΔW（分解為兩個低秩矩陣A、B）。

LoRA

LoRA如何進行LoRA微調？

在凍結預訓練模型權重的基礎上，通過優化算法訓練低秩矩陣A和B以近似增量參數，最小化下游任務損失，從而實現高效的模型微調。

1. 設置LoRA模塊
   • 在預訓練模型的基礎上，添加LoRA模塊。LoRA模塊通常包含兩個參數量較少的矩陣A和B，它們的乘積用于近似全參數微調中的增量參數。
   • 初始化矩陣A和B，通常使用高斯函數進行初始化，以確保訓練開始時LoRA的旁路（即BA）為0，從而與全參數微調有相同的起始點。
2. 訓練LoRA模塊
   • 在訓練過程中，凍結預訓練模型的權重，僅訓練LoRA模塊中的矩陣A和B。
   • 通過優化算法（如Adam）更新矩陣A和B的參數，以最小化下游任務的損失函數。

LoRA

LoRALLaMA-Factory通過集成LoRA微調方法，為大型語言模型提供高效、低成本的微調方案，支持多模型、多算法和實時監控，僅訓練低秩矩陣實現快速適應新任務。

LLaMA-FactoryLoRA參數主要包括秩（lora_rank，影響性能和訓練時間）、縮放系數（lora_alpha，確保訓練穩定）和Dropout系數（lora_dropout，防止過擬合），它們共同影響模型微調的效果和效率。

LLaMA-Factory

1. 秩（Rank）

• 參數名稱：lora_rank
• 描述：秩是LoRA中最重要的參數之一，它決定了低秩矩陣的維度。
• 常用值：對于小型數據集或簡單任務，秩可以設置為1或2；對于更復雜的任務，秩可能需要設置為4、8或更高。

2. 縮放系數（Alpha）

• 參數名稱：lora_alpha
• 描述：縮放系數用于在訓練開始時對低秩矩陣的更新進行縮放。
• 常用值：縮放系數的具體值取決于秩的大小和任務的復雜度。

3. Dropout系數

• 參數名稱：lora_dropout
• 描述：Dropout系數決定了在訓練過程中隨機丟棄低秩矩陣中元素的概率。
• 常用值：Dropout系數的常用值范圍在0到1之間。

LoRA

參考資料

• 《The Power of Scale for Parameter-Efficient Prompt Tuning》
• 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》
• 《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》

文章轉自微信公眾號@架構師帶你玩轉AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實踐構建出色的 API

如何使用API：初學者的分步教程