日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

零基礎(chǔ)入門深度學(xué)習(xí),深度學(xué)習(xí)是什么( 三 )

云知道


更重要的是，淺層模型有一個(gè)特點(diǎn)，就是需要依靠人工來(lái)抽取樣本的特征 。然而，手工地選取特征是一件非常費(fèi)力的事情，能不能選取好很大程度上靠經(jīng)驗(yàn)和運(yùn)氣 。既然手工選取特征不太好，那么能不能自動(dòng)地學(xué)習(xí)一些特征呢？提示：實(shí)際生活中，人們?yōu)榱藢?shí)現(xiàn)對(duì)象的分類，首先必須做的事情是如何來(lái)表達(dá)一個(gè)對(duì)象，即必須抽取一些特征來(lái)表示一個(gè)對(duì)象 。
例如，區(qū)分人和猴子的一個(gè)重要特征是是否有尾巴 。特征選取的好壞對(duì)最終結(jié)果的影響非常大 。此外，我們希望提取到的特征能代表輸入數(shù)據(jù)的最重要部分，就像PCA（Principal Component Analysis，主成分分析，請(qǐng)參見(jiàn)第6章的6.2.2節(jié)）那樣，找到可以代表原信息的主要成分 。以自動(dòng)編碼器（AutoEncoder）為例，這是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)：即輸出y要盡可能與輸入x相同，表示為 。
我們可通過(guò)訓(xùn)練調(diào)整這個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)，來(lái)得到每一層中的權(quán)值系數(shù)，這樣就可得到輸入x的一個(gè)層次化的表示 。這個(gè)可代表原信息主要成分的表示就是所謂的特征 。進(jìn)一步地，我們還可用來(lái)表示輸出y，其中W稱為字典 。類似于PCA，W可理解為基，h可理解為系數(shù) 。同時(shí)，我們不僅希望將信號(hào)表示為一組層次化基的線性組合，而且要求只需較少的幾個(gè)基就可以將信號(hào)表示出來(lái)，這就是所謂的稀疏編碼（Sparse Coding） 。
“稀疏性”定義為：只有很少的幾個(gè)非零元素或只有很少的幾個(gè)遠(yuǎn)大于零的元素 。也即，我們希望求得一組最佳的系數(shù)，滿足：注意上式右邊對(duì)系數(shù)采用了L1范式/正則化/約束以滿足稀疏性，上式實(shí)際上是對(duì)Lasso（The Least Absolute Shrinkage and Selectionator operator）估計(jì)的求解 。
之所以希望“稀疏性”是科學(xué)依據(jù)的，因?yàn)榻^大多數(shù)的感官數(shù)據(jù)，比如自然圖像，都可以被表示成“少量”基本元素的疊加，比如基本線/面的疊加 。稀疏編碼算法是一種無(wú)監(jiān)督學(xué)習(xí)方法，它用來(lái)尋找一組“超完備”基向量（基向量的個(gè)數(shù)比輸入向量的維數(shù)要大）以更高效地表示樣本數(shù)據(jù)，以找出隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式 。答案是能！深度學(xué)習(xí)框架將特征和分類器結(jié)合到一個(gè)框架中，自動(dòng)地從海量大數(shù)據(jù)中去學(xué)習(xí)特征，在使用中減少了手工設(shè)計(jì)特征的巨大工作量 。
看它的一個(gè)別名：無(wú)監(jiān)督特征學(xué)習(xí)（Unsupervised Feature Learning），就可以顧名思義了 。無(wú)監(jiān)督（Unsupervised）學(xué)習(xí)的意思就是不需要通過(guò)人工方式進(jìn)行樣本類別的標(biāo)注來(lái)完成學(xué)習(xí) 。因此，深度學(xué)習(xí)是一種可以自動(dòng)地學(xué)習(xí)特征的方法 。提示：準(zhǔn)確地說(shuō)，深度學(xué)習(xí)首先利用無(wú)監(jiān)督學(xué)習(xí)對(duì)每一層進(jìn)行逐層預(yù)訓(xùn)練（Layerwise Pre-Training）去學(xué)習(xí)特征；每次單獨(dú)訓(xùn)練一層，并將訓(xùn)練結(jié)果作為更高一層的輸入；然后到最上層改用監(jiān)督學(xué)習(xí)從上到下進(jìn)行微調(diào)（Fine-Tune）去學(xué)習(xí)模型 。
深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，并展現(xiàn)了強(qiáng)大的從大量無(wú)標(biāo)注樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力 。深度學(xué)習(xí)能夠獲得可更好地表示數(shù)據(jù)的特征，同時(shí)由于模型的層次深（通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)，“深”的好處是可以控制隱層節(jié)點(diǎn)的數(shù)目為輸入節(jié)點(diǎn)數(shù)目的多項(xiàng)式倍而非多達(dá)指數(shù)倍）、表達(dá)能力強(qiáng)，因此有能力表示大規(guī)模數(shù)據(jù) 。
對(duì)于圖像、語(yǔ)音這種特征不明顯（需要手工設(shè)計(jì)且很多沒(méi)有直觀的物理含義）的問(wèn)題，深度模型能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果 。尤其是在語(yǔ)音識(shí)別方面，深度學(xué)習(xí)使得錯(cuò)誤率下降了大約30%，取得了顯著的進(jìn)步 。相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)作出了重大的改進(jìn)，在訓(xùn)練上的難度（如梯度彌散問(wèn)題）可以通過(guò)“逐層預(yù)訓(xùn)練”來(lái)有效降低 。

推薦閱讀