Neural network

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)（Neural Network）是什么？神經(jīng)網(wǎng)絡(luò)是由大量的節(jié)點(diǎn)（“神經(jīng)元”）相互連接而成的網(wǎng)絡(luò)結(jié)構(gòu)，這些節(jié)點(diǎn)在網(wǎng)絡(luò)中相互連接，可以處理復(fù)雜的數(shù)據(jù)輸入，執(zhí)行各種任務(wù)，如分類、回歸、模式識(shí)別等。

• 前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network）：數(shù)據(jù)在這種網(wǎng)絡(luò)中單向流動(dòng)，從輸入層到輸出層，沒(méi)有反饋（即網(wǎng)絡(luò)中沒(méi)有循環(huán)）。
• 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）：特別適用于處理圖像數(shù)據(jù)，通過(guò)卷積運(yùn)算提取圖像特征。
• 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）：適用于處理序列數(shù)據(jù)，如時(shí)間序列分析、自然語(yǔ)言處理等。

神經(jīng)網(wǎng)絡(luò)的工作原理是什么？模擬人腦神經(jīng)系統(tǒng)的功能，通過(guò)多個(gè)節(jié)點(diǎn)（神經(jīng)元）的連接和計(jì)算，實(shí)現(xiàn)非線性模型的組合和輸出。每個(gè)節(jié)點(diǎn)接收來(lái)自前一層節(jié)點(diǎn)的輸入，進(jìn)行加權(quán)和，加上偏置，然后通過(guò)激活函數(shù)處理，輸出到下一層。

1. 節(jié)點(diǎn)（神經(jīng)元）：神經(jīng)網(wǎng)絡(luò)的基本單元，模擬生物神經(jīng)元的功能。
2. 層次：包括輸入層、隱藏層和輸出層。輸入層負(fù)責(zé)接收輸入數(shù)據(jù)，隱藏層位于輸入層和輸出層之間，進(jìn)行數(shù)據(jù)的加工和轉(zhuǎn)換，輸出層輸出最終的計(jì)算結(jié)果。
3. 權(quán)重：連接不同神經(jīng)元的參數(shù)，代表一個(gè)神經(jīng)元輸出對(duì)另一個(gè)神經(jīng)元輸出的影響力。在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)通過(guò)調(diào)整權(quán)重來(lái)學(xué)習(xí)數(shù)據(jù)中的模式。
4. 偏置：加到加權(quán)和上的一個(gè)常數(shù)，可以看作是每個(gè)神經(jīng)元的一個(gè)額外輸入。偏置允許神經(jīng)元即使在所有輸入都為零時(shí)也有非零的輸出。
5. 激活函數(shù)：決定神經(jīng)元是否應(yīng)該被激活（即輸出信號(hào)）的函數(shù)。常見(jiàn)的激活函數(shù)包括Sigmoid、ReLU等。

從感知機(jī)到神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)40-50年代的MP模型和感知機(jī)，歷經(jīng)兩次低谷與兩次興起。

• 起源：20世紀(jì)40-50年代，受生物神經(jīng)元啟發(fā)，MP模型提出，感知機(jī)誕生，為神經(jīng)網(wǎng)絡(luò)奠定基礎(chǔ)。
• 第一次低谷：60-70年代，因感知機(jī)局限性及計(jì)算能力不足，神經(jīng)網(wǎng)絡(luò)研究陷入低谷。
• 第二次興起：80年代，多層感知機(jī)（MLP）及反向傳播算法出現(xiàn)，解決非線性問(wèn)題，推動(dòng)神經(jīng)網(wǎng)絡(luò)發(fā)展。
• 第二次低谷：90年代，因訓(xùn)練困難等問(wèn)題，神經(jīng)網(wǎng)絡(luò)再次低谷。
• 深度學(xué)習(xí)興起：21世紀(jì)10年代，硬件性能提升、大數(shù)據(jù)出現(xiàn)，深度學(xué)習(xí)興起，卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等算法涌現(xiàn)，神經(jīng)網(wǎng)絡(luò)性能大幅提升。

激活函數(shù)

激活函數(shù)（Activation Function）是什么？激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中神經(jīng)元節(jié)點(diǎn)上的一種函數(shù)，用于將神經(jīng)元的輸入映射到輸出。它決定了節(jié)點(diǎn)是否應(yīng)該被激活（即，是否讓信息通過(guò)該節(jié)點(diǎn)繼續(xù)在網(wǎng)絡(luò)中向后傳播）。

在神經(jīng)網(wǎng)絡(luò)中，輸入通過(guò)加權(quán)求和（權(quán)重（W）和偏置（b）），然后被一個(gè)函數(shù)作用，這個(gè)函數(shù)就是激活函數(shù)。

為什么神經(jīng)網(wǎng)絡(luò)需要激活函數(shù)？神經(jīng)網(wǎng)絡(luò)中的線性組合（即加權(quán)和）本身只能表示線性關(guān)系。然而，現(xiàn)實(shí)世界中的大多數(shù)問(wèn)題都是非線性的。通過(guò)引入激活函數(shù)，神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)并表示這些非線性關(guān)系，從而解決更復(fù)雜的問(wèn)題。

感知機(jī)（perceptron）

在機(jī)器學(xué)習(xí)中，感知機(jī)（perceptron）是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型之一，只有輸入層和輸出層，是二分類的線性分類器。它可以解決與（AND）、或（OR）等簡(jiǎn)單的線性可分問(wèn)題，但無(wú)法解決復(fù)雜的異或（XOR）等非線性可分問(wèn)題。

perceptron

單層感知機(jī)

感知機(jī)（perceptron）是什么？感知機(jī)是由美國(guó)學(xué)者Frank Rosenblatt在1957年提出的，它是一種模擬人腦神經(jīng)元工作原理的模型。感知機(jī)接收多個(gè)輸入信號(hào)，通過(guò)加權(quán)求和并加上偏置值，然后通過(guò)一個(gè)激活函數(shù)將結(jié)果轉(zhuǎn)化為輸出信號(hào)。

• 輸入層：接收外部信息，不進(jìn)行信息處理，只是將信息傳遞給輸出層。
• 輸出層：接收輸入層的信號(hào)，通過(guò)加權(quán)求和并加上偏置值，然后通過(guò)一個(gè)激活函數(shù)（如階躍函數(shù)）將結(jié)果轉(zhuǎn)化為輸出信號(hào)。

為什么要學(xué)習(xí)這么古老的算法？感知機(jī)是神經(jīng)網(wǎng)絡(luò)的起源算法，它的工作原理和概念構(gòu)成了深度學(xué)習(xí)算法的基礎(chǔ)。通過(guò)了解感知機(jī)，可以掌握神經(jīng)網(wǎng)絡(luò)的基本組成單元、工作原理和訓(xùn)練方法，為后續(xù)學(xué)習(xí)更復(fù)雜的模型打下基礎(chǔ)。

感知機(jī)的工作原理是什么？單層感知機(jī)通過(guò)加權(quán)求和輸入信號(hào)并加上偏置值，然后經(jīng)過(guò)階躍激活函數(shù)處理，輸出二分類結(jié)果。

1. 加權(quán)求和：輸入信號(hào)被送往輸出層時(shí)，會(huì)被分別乘以各自的權(quán)重，然后求和。
2. 偏置值：用于調(diào)整輸出層的激活閾值。
3. 激活函數(shù)：在單層感知機(jī)中，常用的激活函數(shù)是階躍函數(shù)，它將大于某個(gè)閾值的結(jié)果輸出為1，小于閾值的結(jié)果輸出為0。

感知機(jī)的訓(xùn)練過(guò)程是什么？通過(guò)調(diào)整權(quán)重和偏置值，感知機(jī)可以在有限的迭代次數(shù)中收斂到一個(gè)能夠?qū)⒂?xùn)練數(shù)據(jù)集正確分類的分離超平面。

• 定義損失函數(shù)：通常使用誤分類點(diǎn)到分離超平面的距離作為損失函數(shù)。
• 優(yōu)化方法：采用梯度下降法或其變種來(lái)優(yōu)化損失函數(shù)，通過(guò)迭代更新權(quán)重和偏置值，使損失函數(shù)不斷減小。
• 迭代更新：在每次迭代中，使用當(dāng)前的權(quán)重和偏置值對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)測(cè)，計(jì)算預(yù)測(cè)值與真實(shí)標(biāo)簽之間的誤差，并根據(jù)誤差值來(lái)調(diào)整權(quán)重和偏置值。

多層感知機(jī)

多層感知機(jī)（Multilayer Perceptron，簡(jiǎn)稱MLP）是什么？多層感知機(jī)由多個(gè)神經(jīng)元層組成，每個(gè)神經(jīng)元層與前一層全連接。其基本結(jié)構(gòu)包括輸入層、輸出層和至少一層或多層的隱藏層。

1. 輸入層：接收輸入特征，是數(shù)據(jù)的入口。
2. 隱藏層：位于輸入層和輸出層之間，用于提取特征和進(jìn)行非線性變換。隱藏層增加了網(wǎng)絡(luò)的容量，使其能夠?qū)W習(xí)并表示更復(fù)雜的函數(shù)。
3. 輸出層：給出最終的預(yù)測(cè)結(jié)果。

多層感知機(jī)的工作原理是什么？多層感知機(jī)通過(guò)前向傳播產(chǎn)生預(yù)測(cè)結(jié)果，計(jì)算損失函數(shù)評(píng)估性能，利用反向傳播算法傳播梯度，并使用優(yōu)化算法更新權(quán)重和偏置以最小化損失。

1. 前向傳播：輸入數(shù)據(jù)通過(guò)輸入層進(jìn)入網(wǎng)絡(luò)，經(jīng)過(guò)隱藏層的非線性變換，最終到達(dá)輸出層并產(chǎn)生預(yù)測(cè)結(jié)果。
2. 損失函數(shù)計(jì)算：根據(jù)預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽計(jì)算損失函數(shù)，用于評(píng)估模型的性能。
3. 反向傳播：通過(guò)反向傳播算法，將損失函數(shù)的梯度從輸出層傳播到輸入層，以更新神經(jīng)元之間的權(quán)重和偏置。
4. 參數(shù)更新：使用優(yōu)化算法（如梯度下降）更新權(quán)重和偏置，以最小化損失函數(shù)。

單層感知機(jī) vs 多層感知機(jī)：單層感知機(jī)僅包含輸入和輸出層，主要用于線性可分問(wèn)題的分類，而多層感知機(jī)則增加了隱藏層和非線性激活函數(shù)，能夠處理復(fù)雜的非線性問(wèn)題。

文章轉(zhuǎn)自微信公眾號(hào)@架構(gòu)師帶你玩轉(zhuǎn)AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實(shí)踐構(gòu)建出色的 API

如何使用API：初學(xué)者的分步教程