在過去的幾年中，專用的NAS方法在提高準確性，降低計算成本和減小體系結(jié)構(gòu)大小方面表現(xiàn)出了顯著的進步，并且最終可以在神經(jīng)網(wǎng)絡（非普通機器學習）體系結(jié)構(gòu)設計上超過人類的性能 。NAS最重要的三個組件搜索空間 。該組件描述了要考慮的一組可能的神經(jīng)網(wǎng)絡體系結(jié)構(gòu) 。這些搜索空間是為特定于應用程序而設計的，例如，用于計算機視覺任務的卷積網(wǎng)絡空間或用于語言建模任務的循環(huán)網(wǎng)絡空間 。
因此，NAS方法不是完全自動化的，因為這些搜索空間的設計從根本上依賴于人類設計的架構(gòu)作為起點 。即使這樣，仍然存在許多體系結(jié)構(gòu)決策 。實際上，在這些搜索空間中考慮的可能架構(gòu)的數(shù)量通常超過10 ^ 10 。優(yōu)化方法 。該組件確定如何探索搜索空間以找到良好的體系結(jié)構(gòu) 。這里最基本的方法是隨機搜索，同時還引入了各種自適應方法，例如，強化學習，進化搜索，基于梯度的優(yōu)化和貝葉斯優(yōu)化 。
盡管這些自適應方法在確定要評估的體系結(jié)構(gòu)的方式方面有所不同，但它們都試圖將搜索偏向性能更佳的體系結(jié)構(gòu) 。毫不奇怪，所有這些方法都具有在傳統(tǒng)超參數(shù)優(yōu)化任務中引入的對應方法 。評估方法 。該組件衡量通過優(yōu)化方法考慮的每種體系結(jié)構(gòu)的質(zhì)量 。最簡單但在計算上最昂貴的選擇是完全訓練體系結(jié)構(gòu) 。人們可以選擇利用局部訓練，其本質(zhì)類似于類似于ASHA的超參數(shù)優(yōu)化中常用的提前停止方法 。
還引入了特定于NAS的評估方法（例如網(wǎng)絡形態(tài)，權(quán)重共享和超網(wǎng)絡）來利用神經(jīng)網(wǎng)絡的結(jié)構(gòu)來提供更便宜的啟發(fā)式質(zhì)量評估 。部分訓練方法通常比全面訓練便宜一個數(shù)量級，而NAS特定的評估方法比全面訓練便宜2-3個數(shù)量級 。是否目前已可以用NAS方法？還沒！明確地說，探索各種體系結(jié)構(gòu)并執(zhí)行廣泛的超參數(shù)優(yōu)化仍然是任何深度學習應用程序工作流程的關(guān)鍵組成部分 。
推薦閱讀
- 蔚小理齊聚港股,蔚來股票代碼
- 變速器原理，變速器的工作原理及結(jié)構(gòu)是什么
- 萬能空調(diào)遙控器代碼怎么設置？正確設置方式及代碼一覽表
- 該如何解讀恰克
- 軟起動器的工作原理,軟啟動器工作原理
- 人臉識別技術(shù)的基本原理,模式識別算法
- pnp三極管工作原理,PNP三極管工作原理解密.doc
- 海森堡測不準原理,量子力學的測不準原理是個啥
- 剃刀理論,奧卡姆剃刀原理
- 半導體熱敏電阻的工作原理,熱敏電阻工作原理