日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

以及它是如何影響深度學習的,學習率

云知道

學習率和batchsize如何影響模型的性能？

以及它是如何影響深度學習的,學習率


學習率決定了權(quán)重迭代的步長，是一個較敏感的超參數(shù)，它對模型性能的影響體現(xiàn)在兩個方面，第一個是初始學習率的大小，第二個是學習率的變換方案 。初始的學習率不宜過大，過大則導致模型不收斂，過小則導致模型收斂特別慢或者無法學習，下圖展示了不同大小的學習率下模型收斂情況的可能性，圖來自于cs231n 。那么如何確定最佳的初始學習速率呢？通常可以采用最簡單的搜索法，即從小到大開始訓練模型，然后記錄損失的變化，隨著學習率的增加，損失會慢慢變小，而后增加，而最佳的學習率就可以從其中損失最小的區(qū)域選擇 。
【以及它是如何影響深度學習的,學習率】有經(jīng)驗的調(diào)參工程師常常根據(jù)自己的經(jīng)驗進行選擇，比如0.1，0.01等 。學習率變換的策略通常分為兩類：一種是預設規(guī)則學習率變化法，一種是自適應學習率變換方法 。預設規(guī)則學習率變化法，常見的策略包括fixed，step，exp，inv，multistep，poly等 。他們相當于預設的某種方式策略來在訓練過程調(diào)整學習率大小 。
自適應學習率策略以Adagrad，Adam等為代表，是目前比較主流的學習率使用方法，他們都會在學習過程中分別根據(jù)θ參數(shù)和梯度來動態(tài)調(diào)整學習率，這里不再細述 。至于Batchsize, 是指的每次送給模型訓練的樣本數(shù)量，最小為1，最大為整個數(shù)據(jù)集，應根據(jù)不同的數(shù)據(jù)量大小和訓練場景選用合適的batchsize大小 。
通常我們采用的批梯度下降法（Mini-batches Learning） 。那么，在合理范圍內(nèi)，增大 BatchSize 有什么好處？1、大矩陣乘法的并行化效率提高 。2、跑完一次 epoch（全數(shù)據(jù)集）所需的迭代次數(shù)減少，對于相同數(shù)據(jù)量的處理速度進一步加快 。3、在一定范圍內(nèi)，一般來說 BatchSize 越大，其確定的下降方向越準，引起訓練震蕩越小 。
盲目增大 BatchSize 有什么壞處？1、內(nèi)存利用率提高了，但是內(nèi)存容量可能撐不住了 。2、跑完一次 epoch（全數(shù)據(jù)集）所需的迭代次數(shù)減少，要想達到相同的精度，其所花費的時間大大增加了，從而對參數(shù)的修正也就顯得更加緩慢 。3、BatchSize 增大到一定程度，其確定的下降方向已經(jīng)基本不再變化 。。

    推薦閱讀