日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

零基礎入門深度學習,深度學習是什么( 二 )

云知道


機器學習是人工智能的一個分支，而在很多時候，幾乎成為人工智能的代名詞 。簡單來說，機器學習就是通過算法，使得機器能從大量歷史數(shù)據(jù)中學習規(guī)律，從而對新的樣本做智能識別或對未來做預測 。而深度學習又是機器學習研究中的一個新的領域，其動機在于建立可以模擬人腦進行分析學習的神經網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如，圖像、聲音和文本 。
深度學習之所以被稱為“深度”，是因為之前的機器學習方法都是淺層學習 。深度學習可以簡單理解為傳統(tǒng)神經網(wǎng)絡（Neural Network）的發(fā)展 。大約二三十年前，神經網(wǎng)絡曾經是機器學習領域特別熱門的一個方向，這種基于統(tǒng)計的機器學習方法比起過去基于人工規(guī)則的專家系統(tǒng)，在很多方面顯示出優(yōu)越性 。如圖4-47所示，深度學習與傳統(tǒng)的神經網(wǎng)絡之間有相同的地方，采用了與神經網(wǎng)絡相似的分層結構：系統(tǒng)是一個包括輸入層、隱層（可單層、可多層）、輸出層的多層網(wǎng)絡，只有相鄰層節(jié)點（單元）之間有連接，而同一層以及跨層節(jié)點之間相互無連接 。
這種分層結構，比較接近人類大腦的結構（但不得不說，實際上相差還是很遠的，考慮到人腦是個異常復雜的結構，很多機理我們目前都是未知的） 。圖4-47傳統(tǒng)的神經網(wǎng)絡與深度神經網(wǎng)絡提示：人類大腦由千億個神經元組成，同時每個神經元平均連接到其它幾千個神經元，這樣形成一個龐大的神經元網(wǎng)絡 。通過這種連接方式，神經元可以收發(fā)不同數(shù)量的能量，但它們對能量的接受并不是立即作出響應，而是先累加起來，只有當累加的總和達到某個臨界閾值時才把能量發(fā)送給其它的神經元 。
而人工神經網(wǎng)絡（Artificial Neural Networks, ANN）將人類神經網(wǎng)絡作了數(shù)學上的抽象，如圖4-47所示，將其抽象為輸入層、輸出層以及中間的若干隱層（Hidden Layer，用于層次化地對內在特征進行降維和抽象表達，相當于特征檢測器），其中每層都有若干結點及連接這些點的邊，通過在訓練數(shù)據(jù)集上學習出邊的權重（Weight）來建立模型 。
邊所表征的函數(shù)（通常為非線性函數(shù)）的不同，對應于不同的神經網(wǎng)絡 。例如，第6章6.4.1節(jié)所介紹的感知機就是一種最簡單的、不含任何隱層的前向（Feedforward）人工神經網(wǎng)絡，其中的函數(shù)被稱為傳遞函數(shù)（Transfer Function）、而門限截止函數(shù)則被用作激活函數(shù)（Activation Function） 。
在上世紀七八十年代，這種在人工智能領域被稱為聯(lián)結主義學派（Connectionism）的方法曾盛極一時 。但是后來，因為理論分析的難度，加上訓練方法需要很多經驗和技巧，以及巨大的計算量和優(yōu)化求解難度，神經網(wǎng)絡慢慢淡出了科研領域的主流方向 。值得指出的是，神經網(wǎng)絡（如采用誤差反向傳播算法：Back Propagation，簡稱BP算法，通過梯度下降方法在訓練過程中修正權重使得網(wǎng)絡誤差最?。┰趯哟紊畹那闆r下性能變得很不理想（傳播時容易出現(xiàn)所謂的梯度彌散Gradient Diffusion或稱之為梯度消失，根源在于非凸目標代價函數(shù)導致求解陷入局部最優(yōu)，且這種情況隨著網(wǎng)絡層數(shù)的增加而更加嚴重，即隨著梯度的逐層不斷消散導致其對網(wǎng)絡權重調整的作用越來越?。灾荒苻D而處理淺層結構（小于等于3），從而限制了性能 。
于是，20世紀90年代，有更多各式各樣的淺層模型相繼被提出，比如只有一層隱層節(jié)點的支撐向量機（SVM，Support Vector Machine）和Boosting，以及沒有隱層節(jié)點的最大熵方法（例如LR，Logistic Regression）等，在很多應用領域取代了傳統(tǒng)的神經網(wǎng)絡 。顯然，這些淺層結構算法有很多局限性：在有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受到一定的制約 。

推薦閱讀