這樣把圖像啊，聲音啊這類的原始數據一層層轉化為我們數學上說的向量 。什么image to vector，word to vector 這些，都在說的一件事情就是這類數學轉化，不同類型（我們通常稱為非結構化數據）的數據最終成為數學上不可區(qū)分的高維空間的向量，所謂萬類歸宗 。線性代數，就是對于這一類高維空間運算做的默認操作模式，可謂上帝的魔術之手 。
因此你要駕駛深度學習這個跑車，線性代數關系你到是否理解發(fā)動機的原理 。線性代數核心需要掌握的是線性空間的概念和矩陣的各項基本運算，對于線性組合，線性空間的各類概念，矩陣的各種基本運算，矩陣的正定和特征值等等都要有非常深厚的功力 。概率論：下一個我們需要講解的是什么呢？ 概率論基礎。概率論事整個機器學習和深度學習的語言，因為無論是深度學習還是機器學習所做的事情是均是預測未知 。
預測未知你就一定要對付不確定性 。整個人類對不確定性的描述都包含在了概率論里面 。概率論你首先要知道的是關于概率來自頻率主義和貝葉斯主義的觀點，然后你要了解概率空間這一描述描述不確定事件的工具，在此基礎上，熟練掌握各類分布函數描述不同的不確定性 。我們最常用的分布函數是高斯，但是你會發(fā)現高斯是數學書里的理想，而真實世界的數據，指數分布和冪函數分布也很重要，不同的分布對機器學習和深度學習的過程會有重要的影響，比如它們影響我們對目標函數和正則方法的設定 。
懂得了這些操作，會對你解決一些競賽或實戰(zhàn)里很難搞定的corner case大有裨益 。一個于概率論非常相關的領域-信息論也是深度學習的必要模塊，理解信息論里關于熵，條件熵，交叉熵的理論，有助于幫助我們了解機器學習和深度學習的目標函數的設計，比如交叉熵為什么會是各類分類問題的基礎 。微積分：微積分和相關的優(yōu)化理論算是第三個重要的模塊吧，線性代數和概率論可以稱得上是深度學習的語言，那微積分和相關的優(yōu)化理論就是工具了 。
深度學習，用層層迭代的深度網絡對非結構數據進行抽象表征，這不是平白過來的，這是優(yōu)化出來的，用比較通俗的話說就是調參 。整個調參的基礎，都在于優(yōu)化理論，而這又是以多元微積分理論為基礎的 。這就是學習微積分也很重要的根源 。優(yōu)化理論：機器學習里的優(yōu)化問題，往往是有約束條件的優(yōu)化，所謂帶著鐐銬的起舞，因此拉格朗日乘子法就成了你逃不過的魔咒 。
優(yōu)化理論包含一階和二階優(yōu)化，傳統(tǒng)優(yōu)化理論最核心的是牛頓法和擬牛頓法 。由于機器學習本身的一個重要內容是正則化，優(yōu)化問題立刻轉化為了一個受限優(yōu)化問題 。這一類的問題，在機器學習里通常要由拉格朗日乘子法解決 。傳統(tǒng)模型往往遵循奧卡姆剃刀的最簡化原理，能不復雜就不復雜 。而深度學習與傳統(tǒng)統(tǒng)計模型的設計理念區(qū)別一個本質區(qū)別在于，深度模型在初始階段賦予模型足夠大的復雜度，讓模型能夠適應復雜的場合，而通過加入與問題本身密切相關的約束： 例如全職共享，和一些通用的正則化方法：例如dropout，減少過擬合的風險 。
而正因為這種復雜度，使得優(yōu)化變得更加困難，主要由于：1，維度災難，深度學習動輒需要調整幾百萬的參數，是一個計算量超大的問題 。2，目標函數非凸，具有眾多的鞍點和極小值 。我們無法直接應用牛頓法等凸優(yōu)化中的常見方法，而一般用到一階優(yōu)化（梯度下降），這看起來是比支持向量機里的二階優(yōu)化簡單，然而正是因為缺乏很好的系統(tǒng)理論，邊角case變得特別多，反而最終更難 。
推薦閱讀
- 做零售業(yè)如何發(fā)展自己,實體零售業(yè)如何發(fā)展
- 強推三款家用高檔桌面音響,桌面音響推薦
- java學習視頻教程,Java基礎視頻教程
- 公共基礎知識重點，公共基礎知識的事業(yè)單位考試的重點有那些
- 尼康1dx怎么樣,尼康的質量到底怎么樣
- 營收下滑30.8%,街都新零售怎么樣
- 維修電工基礎知識,初級電工基礎知識
- 鏡頭知識,關于鏡頭的基礎知識你了解多少
- 0首付分期付款車，零首付分期購車靠譜嗎
- 零尾厲害嗎？零尾尾獸在十大尾獸里面算老幾？