Normalization

歸一化

歸一化（Normalization）是什么？歸一化是一種數(shù)據(jù)預(yù)處理技術(shù)，旨在將數(shù)據(jù)的數(shù)值范圍縮放到一個(gè)特定的尺度，通常是為了消除不同特征之間的量綱差異，使得數(shù)據(jù)更加適合進(jìn)行后續(xù)的分析和處理。

歸一化是深度學(xué)習(xí)中不可或缺的數(shù)據(jù)預(yù)處理步驟。通過合理的歸一化處理，可以顯著提高模型的訓(xùn)練效率和性能，為深度學(xué)習(xí)模型的優(yōu)化和泛化能力的提升提供有力支持。

為什么需要?dú)w一化？由于目標(biāo)函數(shù)擁有眾多參數(shù)且結(jié)構(gòu)復(fù)雜，直接尋找最優(yōu)參數(shù)變得十分困難。因此，我們需要借助優(yōu)化器，它能夠逐步調(diào)整參數(shù)，確保每次優(yōu)化都朝著最快降低損失的方向前進(jìn)。

歸一化的過程是什么？歸一化是通過確定數(shù)據(jù)的取值范圍，應(yīng)用相應(yīng)的歸一化公式將數(shù)據(jù)轉(zhuǎn)換到新的穩(wěn)定尺度，從而得到更加適合后續(xù)分析和處理的數(shù)據(jù)集的過程。

1. 確定歸一化的范圍：確定數(shù)據(jù)的取值范圍，即數(shù)據(jù)的最大值和最小值。在某些情況下，也可以根據(jù)需要選擇其他統(tǒng)計(jì)量（如均值和標(biāo)準(zhǔn)差）來確定歸一化的范圍。
2. 應(yīng)用歸一化公式：根據(jù)選定的歸一化范圍，應(yīng)用相應(yīng)的歸一化公式將數(shù)據(jù)轉(zhuǎn)換到新的尺度。常見的歸一化公式包括線性函數(shù)歸一化（將數(shù)據(jù)映射到[0,1]或[-1,1]的范圍）和Z-score標(biāo)準(zhǔn)化（將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)正態(tài)分布）。
3. 得到歸一化后的數(shù)據(jù)：應(yīng)用歸一化公式后，即可得到新的、經(jīng)過歸一化處理的數(shù)據(jù)集。這些數(shù)據(jù)集在數(shù)值上更加穩(wěn)定，有利于后續(xù)的分析和處理。

常用的歸一化

常用的歸一化有哪些？常用的歸一化主要包括批量歸一化（BN）、層歸一化（LN）、組歸一化（GN）和實(shí)例歸一化（IN）等，它們各有其獨(dú)特的應(yīng)用場(chǎng)景和優(yōu)勢(shì)，選擇哪種歸一化方法通常取決于具體任務(wù)和數(shù)據(jù)的特點(diǎn)。

1.?批量歸一化（Batch Normalization, BN）

• 方法：在神經(jīng)網(wǎng)絡(luò)的每一層中，對(duì)每個(gè)mini-batch的輸入進(jìn)行歸一化處理。通過減去均值，再除以標(biāo)準(zhǔn)差，將輸入數(shù)據(jù)轉(zhuǎn)化為均值為0，標(biāo)準(zhǔn)差為1的分布。
• 優(yōu)點(diǎn)：加速網(wǎng)絡(luò)訓(xùn)練、防止梯度問題、優(yōu)化正則化效果、降低學(xué)習(xí)率要求，并有助于緩解過擬合，從而顯著提升神經(jīng)網(wǎng)絡(luò)的性能和穩(wěn)定性。
• 應(yīng)用場(chǎng)景：適用于大多數(shù)神經(jīng)網(wǎng)絡(luò)場(chǎng)景，特別是在訓(xùn)練深層網(wǎng)絡(luò)時(shí)。

2.?層歸一化（Layer Normalization, LN）

• 方法：在神經(jīng)網(wǎng)絡(luò)的每一層中，對(duì)每個(gè)樣本的所有特征維度進(jìn)行歸一化處理。通過減去均值，再除以標(biāo)準(zhǔn)差，將每個(gè)樣本的特征維度轉(zhuǎn)化為均值為0，標(biāo)準(zhǔn)差為1的分布。
• 優(yōu)點(diǎn)：在訓(xùn)練樣本較小、樣本間相互影響較大的情況下更穩(wěn)定。
• 應(yīng)用場(chǎng)景：如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等場(chǎng)景。

3.?實(shí)例歸一化（Instance Normalization, IN）

• 方法：對(duì)每個(gè)樣本的特征維度進(jìn)行歸一化。通過減去均值，再除以標(biāo)準(zhǔn)差，將每個(gè)樣本的特征維度轉(zhuǎn)化為均值為0，標(biāo)準(zhǔn)差為1的分布。
• 優(yōu)點(diǎn)：更適用于圖像生成等任務(wù)中，每個(gè)樣本的特征維度獨(dú)立于其他樣本的情況。
• 應(yīng)用場(chǎng)景：圖像生成任務(wù)等。

4.?組歸一化（Group Normalization, GN）

• 方法：在神經(jīng)網(wǎng)絡(luò)的每一層中，將特征分成若干組，對(duì)每個(gè)組的特征進(jìn)行歸一化處理。通過減去均值，再除以標(biāo)準(zhǔn)差，將每個(gè)組的特征維度轉(zhuǎn)化為均值為0，標(biāo)準(zhǔn)差為1的分布。
• 優(yōu)點(diǎn)：適用于樣本較小、樣本間相互影響較大，但又不需要對(duì)整個(gè)mini-batch進(jìn)行歸一化的情況。
• 應(yīng)用場(chǎng)景：圖像分割任務(wù)等。

正則化（Regularization）

在深度學(xué)習(xí)中，正則化通過約束模型的復(fù)雜度來防止過擬合，提高模型的泛化能力、魯棒性和解釋性。在深度學(xué)習(xí)的實(shí)踐中，可以根據(jù)具體問題和數(shù)據(jù)集的特點(diǎn)選擇合適的正則化技術(shù)和參數(shù)設(shè)置。

常用的正則化方法，包括L1正則化（Lasso Regularization）、L2正則化（Ridge Regularization）和Dropout等。其中，L1正則化實(shí)現(xiàn)特征選擇和模型稀疏化，L2正則化使權(quán)重值盡可能小，而Dropout則通過隨機(jī)丟棄神經(jīng)元來減少神經(jīng)元之間的共適應(yīng)性。

Regularization

正則化

正則化（Regularization）是什么？正則化是一種減少模型過擬合風(fēng)險(xiǎn)的技術(shù)。

當(dāng)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)得太好時(shí)，它可能會(huì)學(xué)習(xí)到訓(xùn)練數(shù)據(jù)中的噪聲或隨機(jī)波動(dòng)，而不是數(shù)據(jù)中的基本模式。這會(huì)導(dǎo)致模型在未見過的數(shù)據(jù)上表現(xiàn)不佳，即過擬合。

正則化的目的是通過引入額外的約束或懲罰項(xiàng)來限制模型的復(fù)雜度，從而提高模型在未知數(shù)據(jù)上的泛化能力。

如何實(shí)現(xiàn)正則化？正則化是通過在損失函數(shù)中添加一個(gè)正則項(xiàng)來實(shí)現(xiàn)的，這個(gè)正則項(xiàng)是基于模型參數(shù)而構(gòu)建的。

L1正則化在損失函數(shù)L中添加L1正則項(xiàng)，得到新的損失函數(shù)L_new = L + λ∑|w_i|，其中λ是正則化系數(shù)，w_i是模型參數(shù)。

L2正則化則在損失函數(shù)L中添加L2正則項(xiàng)，得到新的損失函數(shù)L_new = L + λ∑w_i^2，其中λ是正則化系數(shù)，w_i是模型參數(shù)。

在訓(xùn)練過程中，L1正則化、L2正則化都是通過優(yōu)化算法最小化損失函數(shù)L_new，從而實(shí)現(xiàn)對(duì)模型參數(shù)的約束。

常用的正則化

常用的正則化有哪些？常用的正則化方法主要包括L1正則化（產(chǎn)生稀疏權(quán)重）、L2正則化（減少權(quán)重大?。ropout（隨機(jī)丟棄神經(jīng)元）、數(shù)據(jù)增強(qiáng)（擴(kuò)充數(shù)據(jù)集）以及提前停止（監(jiān)控驗(yàn)證誤差）等，它們各自通過不同機(jī)制減少模型過擬合風(fēng)險(xiǎn)。

1. L1正則化（Lasso）：

• 方法：在損失函數(shù)中添加模型參數(shù)絕對(duì)值之和作為懲罰項(xiàng)。
• 特點(diǎn)：傾向于產(chǎn)生稀疏權(quán)重矩陣，即部分特征權(quán)重為零，有助于特征選擇。

2. L2正則化（Ridge）：

• 方法：在損失函數(shù)中添加模型參數(shù)平方和作為懲罰項(xiàng)。
• 特點(diǎn)：傾向于使權(quán)重值均勻分布且較小，有助于防止模型過于復(fù)雜，減少過擬合。

3. Dropout：

• 方法：在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中隨機(jī)丟棄一部分神經(jīng)元。
• 特點(diǎn)：減少了神經(jīng)元之間的復(fù)雜共適應(yīng)性，提高了模型的泛化能力。

4. 數(shù)據(jù)增強(qiáng)（Data Augmentation）：

• 方法：雖然不是直接對(duì)模型進(jìn)行正則化，但通過對(duì)輸入數(shù)據(jù)進(jìn)行變換（如旋轉(zhuǎn)、縮放、平移等）來擴(kuò)充數(shù)據(jù)集。
• 特點(diǎn)：提高了模型的泛化能力，減少了過擬合的風(fēng)險(xiǎn)。

5. 提前停止（Early Stopping）：

• 方法：在訓(xùn)練過程中監(jiān)測(cè)驗(yàn)證集上的誤差變化。
• 特點(diǎn)：當(dāng)驗(yàn)證集誤差在一段時(shí)間內(nèi)沒有進(jìn)一步改善時(shí)，停止訓(xùn)練并返回使驗(yàn)證集誤差最低的模型。

自注意力（Self- Attention）

在深度學(xué)習(xí)中，自注意力機(jī)制允許模型在處理序列數(shù)據(jù)時(shí)，通過計(jì)算序列中不同位置元素之間的相關(guān)性得分，動(dòng)態(tài)地調(diào)整對(duì)每個(gè)元素的關(guān)注程度，從而捕捉序列內(nèi)部的復(fù)雜依賴關(guān)系。

自注意力機(jī)制與注意力機(jī)制在處理對(duì)象和應(yīng)用場(chǎng)景上存在差異，自注意力機(jī)制更側(cè)重于處理序列內(nèi)部元素之間的相互作用。

Self- Attention

自注意力機(jī)制

自注意力機(jī)制（Self- Attention）是什么？自注意力機(jī)制能夠動(dòng)態(tài)地捕捉序列中不同位置元素之間的依賴關(guān)系，并根據(jù)這些依賴關(guān)系生成新的序列表示。

它之所以被稱為“自注意力”，是因?yàn)樗?/strong>單一序列中通過計(jì)算序列元素之間的相互依賴關(guān)系來生成新的特征表示。這與傳統(tǒng)的注意力機(jī)制有所不同，后者通常涉及兩個(gè)序列之間的交互。

自注意力機(jī)制和傳統(tǒng)注意力機(jī)制區(qū)別是什么？傳統(tǒng)注意力機(jī)制通常涉及目標(biāo)元素（輸出）與源元素（輸入）之間的交互，而自注意力機(jī)制則專注于輸入序列或輸出序列內(nèi)部元素之間的相互作用，其查詢和鍵均來自同一組元素。

• 傳統(tǒng)注意力機(jī)制：通常發(fā)生在目標(biāo)元素（輸出）與源元素（輸入）之間。在機(jī)器翻譯等任務(wù)中，注意力機(jī)制的查詢和鍵往往來自不同的來源，例如在中譯英模型中，查詢是中文單詞的特征，而鍵是英文單詞的特征。

• 自注意力機(jī)制：是在輸入序列內(nèi)部元素之間或者輸出序列內(nèi)部元素之間的相互作用。自注意力機(jī)制的查詢和鍵來自同一組元素，即查詢和鍵都是同一序列（如一句話中的詞元或同一張圖像中的不同patch）的特征，彼此之間進(jìn)行注意力計(jì)算。

注意力分?jǐn)?shù)

如何實(shí)現(xiàn)注意力機(jī)制？在自注意力機(jī)制中，通過縮放點(diǎn)積計(jì)算注意力得分，并利用這些得分對(duì)值向量進(jìn)行加權(quán)求和，從而實(shí)現(xiàn)了自注意力機(jī)制，它能夠捕捉序列內(nèi)部元素之間的依賴關(guān)系。

注意力分?jǐn)?shù)是什么？注意力分?jǐn)?shù)用來量化注意力機(jī)制中某一部分信息被關(guān)注的程度，反映了信息在注意力機(jī)制中的重要性。在注意力機(jī)制中，模型會(huì)根據(jù)注意力分?jǐn)?shù)來決定對(duì)不同輸入信息的關(guān)注程度。

Q（Query）、K（Key）、V（Value）通過映射矩陣得到相應(yīng)的向量，通過計(jì)算Q與K的點(diǎn)積相似度并經(jīng)過softmax歸一化得到權(quán)重，最后使用這些權(quán)重對(duì)V進(jìn)行加權(quán)求和得到輸出。

Q、K、V計(jì)算過程是什么？對(duì)于輸入序列的每個(gè)單詞，通過計(jì)算其Query與所有單詞Key的點(diǎn)積得到注意力分?jǐn)?shù)，經(jīng)Softmax歸一化后得到注意力權(quán)重，再用這些權(quán)重對(duì)Value向量進(jìn)行加權(quán)求和，以得到包含豐富上下文信息的新單詞表示。

• 生成Q、K、V向量：對(duì)于輸入序列中的每個(gè)單詞，都會(huì)生成對(duì)應(yīng)的Query（查詢）、Key（鍵）和Value（值）向量。這些向量通常是通過將單詞的嵌入向量（Embedding Vector）輸入到一個(gè)線性變換層得到的。
• 計(jì)算Q、K的點(diǎn)積（注意力分?jǐn)?shù)）：計(jì)算Query向量與序列中所有單詞的Key向量之間的點(diǎn)積，得到一個(gè)分?jǐn)?shù)。這個(gè)分?jǐn)?shù)反映了Query向量與每個(gè)Key向量之間的相似度，即每個(gè)單詞與當(dāng)前位置單詞的關(guān)聯(lián)程度。
• Softmax函數(shù)歸一化（注意力權(quán)重）：這些分?jǐn)?shù)會(huì)經(jīng)過一個(gè)Softmax函數(shù)進(jìn)行歸一化，得到每個(gè)單詞的注意力權(quán)重。這些權(quán)重表示了在理解當(dāng)前單詞時(shí)，應(yīng)該給予序列中其他單詞多大的關(guān)注。
• 注意力權(quán)重加權(quán)求和（加權(quán)和向量）：這些注意力權(quán)重與對(duì)應(yīng)的Value向量進(jìn)行加權(quán)求和，得到一個(gè)加權(quán)和向量。這個(gè)加權(quán)和向量會(huì)被用作當(dāng)前單詞的新表示，包含了更豐富的上下文信息。

文章轉(zhuǎn)自微信公眾號(hào)@架構(gòu)師帶你玩轉(zhuǎn)AI

上一篇：

大模型開發(fā) - 一文搞懂 LangChain（二）：Model I/O

下一篇：

一文徹底搞懂深度學(xué)習(xí)(2)

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實(shí)踐構(gòu)建出色的 API

如何使用API：初學(xué)者的分步教程

我們有何不同？

API服務(wù)商零注冊(cè)

多API并行試用

數(shù)據(jù)驅(qū)動(dòng)選型，提升決策效率

查看全部API→

??

熱門場(chǎng)景實(shí)測(cè)，選對(duì)API

#AI文本生成大模型API

對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個(gè)渠道

一鍵對(duì)比試用API 限時(shí)免費(fèi)

#AI深度推理大模型API

對(duì)比大模型API的邏輯推理準(zhǔn)確性、分析深度、可視化建議合理性

10個(gè)渠道

一鍵對(duì)比試用API 限時(shí)免費(fèi)

<fieldset id="asmoa"></fieldset>

<source id="asmoa"><tr id="asmoa"></tr></source>

<menu id="asmoa"><tbody id="asmoa"></tbody></menu>

<source id="asmoa"></source>