然而 ， 這些問題都是計(jì)算數(shù)學(xué)領(lǐng)域的經(jīng)典問題??！毕? ，函數(shù)逼近、概率分布的逼近與采樣，以及微分方程和差分方程的數(shù)值求解，都是計(jì)算數(shù)學(xué)領(lǐng)域極其經(jīng)典的問題 。那么，這些問題在機(jī)器學(xué)習(xí)的語境下 ， 到底和在經(jīng)典的計(jì)算數(shù)學(xué)里有什么區(qū)別呢？答案便是：
維度（dimensionality）
例如，在圖像識別問題中，輸入的維度為
。而對于經(jīng)典的數(shù)值逼近方法，對于
維問題，含
個(gè)參數(shù)的模型的逼近誤差
. 換言之 ， 如果想將誤差縮小10倍，參數(shù)個(gè)數(shù)需要增加
. 當(dāng)維數(shù)
增加時(shí)，計(jì)算代價(jià)呈指數(shù)級增長 。這種現(xiàn)象通常被稱為：
維度災(zāi)難（curse of dimensionality）
所有的經(jīng)典算法，例如多項(xiàng)式逼近、小波逼近，都飽受維度災(zāi)難之害 。很明顯，機(jī)器學(xué)習(xí)的成功告訴我們，在高維問題中，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)比經(jīng)典算法好很多 。然而，這種“成功”是怎么做到的呢？為什么在高維問題中，其他方法都不行，但深度神經(jīng)網(wǎng)絡(luò)取得了前所未有的成功呢？
從數(shù)學(xué)出發(fā)，理解機(jī)器學(xué)習(xí)的“黑魔法”：監(jiān)督學(xué)習(xí)的數(shù)學(xué)理論
2.1 記號與設(shè)定
神經(jīng)網(wǎng)絡(luò)是一類特殊的函數(shù) 。比如，兩層神經(jīng)網(wǎng)絡(luò)是：
其中有兩組參數(shù)，
和
。
是激活函數(shù)，可以是：
·
，ReLU函數(shù)；
·
，Sigmoid函數(shù) 。
而神經(jīng)網(wǎng)絡(luò)的基本組成部分即為：線性變換與一維非線性變換 。深度神經(jīng)網(wǎng)絡(luò)，一般就是如下結(jié)構(gòu)的復(fù)合：
為了簡便，我們在此省略掉所有的bias項(xiàng)
。
是權(quán)重矩陣，激活函數(shù)
作用在每一個(gè)分量上 。
我們將要在訓(xùn)練集S上逼近目標(biāo)函數(shù)
不妨假設(shè)
的定義域?yàn)?br />
。令
推薦閱讀
- 刑事犯罪找律師多少錢 犯罪后找律師怎么收費(fèi)
- 大學(xué)生返鄉(xiāng)社會實(shí)踐注冊后怎么報(bào)名參加
- 樂平市律師費(fèi)一般怎么算，樂清律師收費(fèi)標(biāo)準(zhǔn)
- 無錫春節(jié)免費(fèi)景點(diǎn)怎么取消預(yù)約
- 海馬s5有定速巡航嗎 海馬s5定速巡航怎么使用說明
- 如何制作長圖 朋友圈長圖片怎么制作
- 斯巴魯有定速巡航嗎 斯巴魯有定速巡航嗎怎么用
- 樂游無錫平臺怎么預(yù)約春節(jié)免費(fèi)景點(diǎn)2023
- 樂游無錫平臺免費(fèi)景點(diǎn)怎么看有沒有預(yù)約成功
- 樂游無錫平臺預(yù)約的春節(jié)免費(fèi)景點(diǎn)怎么取消