狠狠躁夜夜躁人人躁婷婷视频,最近中文字幕在线中文视频

actual_y值來(lái)自訓(xùn)練集，而predict_y值是我們模型產(chǎn)生的值。所以這次迭代的成本是-4 。
那么反向傳播在哪里呢？
根據(jù)我們的例子，我們現(xiàn)在有一個(gè)模型沒(méi)有給出準(zhǔn)確的預(yù)測(cè)（它給我們的值是4而不是1），這歸因于它的權(quán)重尚未調(diào)整（它們都等于1）。我們也有損失，即-4 。反向傳播就是以這樣一種方式向后傳遞這種損失，我們可以根據(jù)這種方式微調(diào)權(quán)重。優(yōu)化函數(shù)（在我們的例子中為梯度下降）將幫助我們找到權(quán)重。那就讓我們開(kāi)始吧！
使用以下功能進(jìn)行前饋：

然后通過(guò)這些函數(shù)的偏導(dǎo)數(shù)發(fā)生反向反饋。不需要經(jīng)過(guò)經(jīng)過(guò)推導(dǎo)這些函數(shù)的過(guò)程。我們需要知道的是，上面的函數(shù)將遵循：

其中Z是我們從前饋步驟中的激活函數(shù)計(jì)算中獲得的z值，而delta是圖層中單位的損失。
我知道有很多信息一次性就能吸收，但我建議你花點(diǎn)時(shí)間，真正了解每一步發(fā)生了什么，然后再繼續(xù)前進(jìn) 。
計(jì)算增量
現(xiàn)在我們需要找到神經(jīng)網(wǎng)絡(luò)中每個(gè)單元/節(jié)點(diǎn)的損耗。這是為什么呢？我們這樣想，深度學(xué)習(xí)模型到達(dá)的每一次損失實(shí)際上是由所有節(jié)點(diǎn)累積到一個(gè)數(shù)字引起的。因此，我們需要找出哪個(gè)節(jié)點(diǎn)對(duì)每層中的大部分損失負(fù)責(zé)，這樣我們就可以通過(guò)賦予它更小的權(quán)重值來(lái)懲罰它，從而減少模型的總損失。
計(jì)算每個(gè)單元的增量可能會(huì)有問(wèn)題。但是，感謝吳恩達(dá)先生，他給了我們整個(gè)事情的捷徑公式：

其中delta_0，w和f’（z）的值是相同單位的值，而delta_1是加權(quán)鏈接另一側(cè)的單位損失。例如：

你可以這樣想，為了獲得節(jié)點(diǎn)的損失（例如Z0），我們將其對(duì)應(yīng)的f’（z）的值乘以它在下一層（delta_1）連接的節(jié)點(diǎn)的損失，再乘以連接兩個(gè)節(jié)點(diǎn)的鏈路的權(quán)重。
這正是反向傳播的工作原理。我們?cè)诿總€(gè)單元進(jìn)行delta計(jì)算步驟，將損失反向傳播到神經(jīng)網(wǎng)絡(luò)中，并找出每個(gè)節(jié)點(diǎn)/單元的損失。
讓我們計(jì)算一下這些增量！

這里有一些注意事項(xiàng)：

最終單位的損失（即D0）等于整個(gè)模型的損失。這是因?yàn)樗禽敵鰡挝?，它的損失是所有單位的累計(jì)損失，就像我們之前說(shuō)的那樣。
無(wú)論輸入（即z）等于什么，函數(shù)f’（z）總是給出值1 。這是因?yàn)槿缜八觯珜?dǎo)數(shù)如下：f’（a）= 1
輸入節(jié)點(diǎn)/單位（X0，X1和X2）沒(méi)有delta值，因?yàn)檫@些節(jié)點(diǎn)在神經(jīng)網(wǎng)絡(luò)中無(wú)法控制。它們僅作為數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)之間的一個(gè)鏈接。

更新權(quán)重
現(xiàn)在剩下的就是更新我們?cè)谏窠?jīng)網(wǎng)絡(luò)中的所有權(quán)重。這遵循批量梯度下降公式：

其中W是手頭的權(quán)重，alpha是學(xué)習(xí)率（在我們的例子中是0.1），J’（W）是成本函數(shù)J（W）相對(duì)于W的偏導(dǎo)數(shù) 。再次強(qiáng)調(diào)，我們不需要進(jìn)行數(shù)學(xué)運(yùn)算。因此，讓我們使用吳恩達(dá)先生的函數(shù)的偏導(dǎo)數(shù)：