首頁 > 易卦

深度學習公式推導(1):神經元的數學公式

作者:由 老崔說架構 發表于 易卦日期:2022-11-29

相乘公式如何推導

深度學習公式推導(1):神經元的數學公式

在上節中我們說了神經元是如何接受訊號,並且發射點火從而影響其他神經元的,下面先來複習一下整個過程。

深度學習公式推導(1):神經元的數學公式

如上圖所示,神經元點火的過程。

(i) 神經元接受來自其他多個神經元的訊號,這些訊號會作為該神經元的輸入。

(ii) 如果訊號量之和達到了神經元點火的閾值,神經元就會觸發點火。

也即是說神經元的輸出有兩種情況,點火或者不點火,我們用數字訊號 0表示不點火, 1 表示點火。

深度學習公式推導(1):神經元的數學公式

如上圖所示,y 代表神經元的輸出0(無輸出訊號),1(有輸出訊號)。同樣,作為神經元的輸入,也存在有訊號輸入(1)和無訊號輸入(0),我們用x1、x2、x3 來表示,這三個值也有可能是0或者是1。

輸入的訊號可以透過0,1表示是否輸入,但是每個訊號量大小是不一樣的,因此我們這裡為其設定權重,分別對應三個輸入的三個訊號量的權重分別是就是w1,w2,w3。

於是就得到如下公式:

深度學習公式推導(1):神經元的數學公式

當w(權重)和x (是否有訊號) 相乘以後求和小於某一個閥值(

θ

)的時候,說明沒有達到點火的條件,此時的y=0。 反之如果wx 相乘的和大於等於 (

θ

)的時候,說明滿足點火的條件也就是 y =1。

接著,我們將上面的公式,在座標軸上畫出來。

深度學習公式推導(1):神經元的數學公式

如上圖所示,橫軸是

深度學習公式推導(1):神經元的數學公式

縱軸是 y。當橫軸的值大於

θ

的時候y值為 1,反之為0。

然後再對上圖進行變換,將整個影象向右平移

θ

個單位。

深度學習公式推導(1):神經元的數學公式

也就是將橫軸變為

深度學習公式推導(1):神經元的數學公式

同時將上面的公式設為z。

那麼神經元點火的公式就變成如下:

深度學習公式推導(1):神經元的數學公式

這裡用函式u 和變數

深度學習公式推導(1):神經元的數學公式

得到了y。

再對其進行簡化,由於 z 代表

深度學習公式推導(1):神經元的數學公式

,所以得到y=u(z)

深度學習公式推導(1):神經元的數學公式

如上表所示,當wx相乘的和小於

θ

的時候 推出 z 小於 0, u(z) 函式結果為 0 ,y=0 說明不點火。

當wx相乘的和大於

θ

的時候 推出 z 大於 0, u(z) 函式結果為 1 ,y=1 說明點火。