日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

自定義激活函數(shù),激活函數(shù)的作用

云知道

深度學(xué)習(xí)中的主要激活函數(shù)有哪些？

自定義激活函數(shù),激活函數(shù)的作用


現(xiàn)在，我相信我們大家都很熟悉什么是A-NN了，但接下來請?jiān)试S我按照自己的理解給A-NN下個定義——它是一個強(qiáng)健有力的，同時也非常復(fù)雜的機(jī)器學(xué)習(xí)技術(shù)，它可以模仿人類的大腦，繼而模仿大腦的運(yùn)作 。正如我們的人腦一樣，在一個層次上和神經(jīng)元網(wǎng)絡(luò)中有數(shù)百萬個神經(jīng)元，這些神經(jīng)元通過一種稱之為synapses（突觸）的結(jié)構(gòu)彼此緊緊相連 。
它可以通過 Axons（軸突），將電信號從一個層傳遞到另一個層 。這就是我們?nèi)祟悓W(xué)習(xí)事物的方式 。每當(dāng)我們看到、聽到、感覺和思考時，一個突觸（電脈沖）從層次結(jié)構(gòu)中的一個神經(jīng)元被發(fā)射到另一個神經(jīng)元，這使我們能夠從我們出生的那一天起，就開始學(xué)習(xí)、記住和回憶我們?nèi)粘Ｉ钪械臇|西 。好的，接下來我保證大家看到的不再是生物學(xué)領(lǐng)域的知識了 。
什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡(luò)模型中是如何使用的？激活函數(shù)（Activation functions）對于人工神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)、理解非常復(fù)雜和非線性的函數(shù)來說具有十分重要的作用 。它們將非線性特性引入到我們的網(wǎng)絡(luò)中 。其主要目的是將A-NN模型中一個節(jié)點(diǎn)的輸入信號轉(zhuǎn)換成一個輸出信號 。該輸出信號現(xiàn)在被用作堆疊中下一個層的輸入 。
而在A-NN中的具體操作是這樣的，我們做輸入（X）和它們對應(yīng)的權(quán)重（W）的乘積之和，并將激活函數(shù)f（x）應(yīng)用于其獲取該層的輸出并將其作為輸入饋送到下一個層 。問題是，為什么我們不能在不激活輸入信號的情況下完成此操作呢？如果我們不運(yùn)用激活函數(shù)的話，則輸出信號將僅僅是一個簡單的線性函數(shù) 。線性函數(shù)一個一級多項(xiàng)式 。
現(xiàn)如今，線性方程是很容易解決的，但是它們的復(fù)雜性有限，并且從數(shù)據(jù)中學(xué)習(xí)復(fù)雜函數(shù)映射的能力更小 。一個沒有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)將只不過是一個線性回歸模型（Linear regression Model）罷了，它功率有限，并且大多數(shù)情況下執(zhí)行得并不好 。我們希望我們的神經(jīng)網(wǎng)絡(luò)不僅僅可以學(xué)習(xí)和計(jì)算線性函數(shù)，而且還要比這復(fù)雜得多 。
同樣是因?yàn)闆]有激活函數(shù)，我們的神經(jīng)網(wǎng)絡(luò)將無法學(xué)習(xí)和模擬其他復(fù)雜類型的數(shù)據(jù)，例如圖像、視頻、音頻、語音等 。這就是為什么我們要使用人工神經(jīng)網(wǎng)絡(luò)技術(shù)，諸如深度學(xué)習(xí)（Deep learning），來理解一些復(fù)雜的事情，一些相互之間具有很多隱藏層的非線性問題，而這也可以幫助我們了解復(fù)雜的數(shù)據(jù) 。那么為什么我們需要非線性函數(shù)？非線性函數(shù)是那些一級以上的函數(shù)，而且當(dāng)繪制非線性函數(shù)時它們具有曲率 。
現(xiàn)在我們需要一個可以學(xué)習(xí)和表示幾乎任何東西的神經(jīng)網(wǎng)絡(luò)模型，以及可以將輸入映射到輸出的任意復(fù)雜函數(shù) 。神經(jīng)網(wǎng)絡(luò)被認(rèn)為是通用函數(shù)近似器（Universal Function Approximators） 。這意味著他們可以計(jì)算和學(xué)習(xí)任何函數(shù) 。幾乎我們可以想到的任何過程都可以表示為神經(jīng)網(wǎng)絡(luò)中的函數(shù)計(jì)算 。而這一切都?xì)w結(jié)于這一點(diǎn)，我們需要應(yīng)用激活函數(shù)f（x），以便使網(wǎng)絡(luò)更加強(qiáng)大，增加它的能力，使它可以學(xué)習(xí)復(fù)雜的事物，復(fù)雜的表單數(shù)據(jù)，以及表示輸入輸出之間非線性的復(fù)雜的任意函數(shù)映射 。
因此，使用非線性激活函數(shù)，我們便能夠從輸入輸出之間生成非線性映射 。激活函數(shù)的另一個重要特征是：它應(yīng)該是可以區(qū)分的 。我們需要這樣做，以便在網(wǎng)絡(luò)中向后推進(jìn)以計(jì)算相對于權(quán)重的誤差（丟失）梯度時執(zhí)行反向優(yōu)化策略，然后相應(yīng)地使用梯度下降或任何其他優(yōu)化技術(shù)優(yōu)化權(quán)重以減少誤差 。只要永遠(yuǎn)記住要做：“輸入時間權(quán)重，添加偏差和激活函數(shù)”最流行的激活函數(shù)類型1.Sigmoid函數(shù)或者Logistic函數(shù)2.Tanh?—?Hyperbolic tangent（雙曲正切函數(shù)）3.ReLu -Rectified linear units（線性修正單元）Sigmoid激活函數(shù)：它是一個f（x）= 1/1exp（-x）形式的激活函數(shù) 。

推薦閱讀