三、調(diào)整超參數(shù)現(xiàn)在你的網(wǎng)絡(luò)可以學習東西了，你可能會得意忘形 。你還可能發(fā)現(xiàn)你訓練的網(wǎng)絡(luò)并不能夠解決大多數(shù)復雜的問題 。超參數(shù)調(diào)整就是解決問題的關(guān)鍵 。有些人直接下載一個CNN的包然后在他們的數(shù)據(jù)集上運行，然后告訴你說使用超參數(shù)調(diào)整并沒有帶來什么不同 。這是因為它們使用已經(jīng)存在的架構(gòu)來解決已經(jīng)存在的問題 。如果你要解決的問題需要新的架構(gòu)呢，通過超參數(shù)調(diào)整來得到良好的設(shè)置就是必須的了 。
你最好確保針對你要解決的問題閱讀了超參數(shù)教程，不過我還是會在下面列出一些基本思想 ?？梢暬翰灰略谟柧氝^程中花時間編寫自定義可視化工具 。如果你的可視化方法效果不行，那么考慮換另一種方法 。權(quán)重初始化：一般情況下，較大的初始化權(quán)重是個不錯的選擇，但是太大又會導致NaN 。確保權(quán)重看起來“健康” 。要了解這是什么意思，我建議在IPython的notebook中查看現(xiàn)有網(wǎng)絡(luò)的權(quán)重值 。
花些時間來觀察在諸如ImageNet或Penn Tree Bank這些標準的數(shù)據(jù)集上訓練的成熟的網(wǎng)絡(luò)中成分的權(quán)重的直方圖應該是什么樣的 。神經(jīng)網(wǎng)絡(luò)的w.r.t.輸入不是不變的，特別是在使用SGD而不是其他方法訓練的時候，因為SGD不是尺度不變的方法 。花時間用與擴展其他方面的方式來擴展輸入數(shù)據(jù)和輸出標簽 。
【淺析激活函數(shù)之Relu函數(shù),relu函數(shù)】在訓練過程中降低學習速率幾乎總會給你帶來提升 。最好的衰減策略通常是：在k次迭代后，每n次迭代就用學習率除以1.5，k
推薦閱讀
- KMS激活工具,kms激活工具
- 新入堅果不能激活
- 蘋果官網(wǎng)激活時間查詢 蘋果官網(wǎng)技術(shù)支持查詢激活日期
- 家用攝像頭遭破解入侵,精品攝像頭ip交流群
- 電池充不進電了,手機充不進電怎么辦
- 大戰(zhàn)神騎兵怎么激活碼,騎砍2游戲怎么作弊刷
- 彈彈堂怎么得激活碼,4399彈彈堂
- apple110激活時間查詢 蘋果110查詢激活日期
- yq603恢復出廠設(shè)置之后激活不了了。
- 手機激活時間查詢,iphone激活時間查詢