国产无套乱子伦精彩是白视频 ,无码人妻丰满熟妇区毛片18,人妻久久精品一区二区

什么是ResNet ，本項(xiàng)目給大家介紹殘差網(wǎng)絡(luò)ResNet 。
ResNet是一種殘差網(wǎng)絡(luò) ，咱們可以先簡單看一下ResNet的結(jié)構(gòu) ，再對它的結(jié)構(gòu)進(jìn)行詳細(xì)介紹。

Resnet50詳解與實(shí)踐 resnet網(wǎng)絡(luò)結(jié)構(gòu)詳解

從圖可以看出，殘差網(wǎng)絡(luò)是由多個(gè)結(jié)構(gòu)類似的塊堆疊起來的，這樣的塊是殘差網(wǎng)絡(luò)的基本單元（稱為殘差塊）， ResNet是由多個(gè)這樣的殘差塊堆疊起來的。
殘差塊長這樣：

【Resnet50詳解與實(shí)踐 resnet網(wǎng)絡(luò)結(jié)構(gòu)詳解】那么可能會(huì)有小伙伴疑問，干嘛非要用殘差塊來構(gòu)建這么一個(gè)深層網(wǎng)絡(luò)呢？干嘛不直接用卷積層對網(wǎng)絡(luò)進(jìn)行一個(gè)堆疊呢？
為什么要引入ResNet？我們知道，網(wǎng)絡(luò)越深，咱們能獲取的信息越多，而且特征也越豐富。但是根據(jù)實(shí)驗(yàn)表明，隨著網(wǎng)絡(luò)的加深，優(yōu)化效果反而越差，測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的準(zhǔn)確率反而降低了。這是由于網(wǎng)絡(luò)的加深會(huì)造成梯度爆炸和梯度消失的問題。

網(wǎng)絡(luò)加深時(shí)測試錯(cuò)誤率和訓(xùn)練錯(cuò)誤率顯示
目前針對這種現(xiàn)象已經(jīng)有了解決的方法：對輸入數(shù)據(jù)和中間層的數(shù)據(jù)進(jìn)行歸一化操作，這種方法可以保證網(wǎng)絡(luò)在反向傳播中采用隨機(jī)梯度下降（SGD），從而讓網(wǎng)絡(luò)達(dá)到收斂。但是，這個(gè)方法僅對幾十層的網(wǎng)絡(luò)有用，當(dāng)網(wǎng)絡(luò)再往深處走的時(shí)候，這種方法就無用武之地了。
為了讓更深的網(wǎng)絡(luò)也能訓(xùn)練出好的效果，何凱明大神提出了一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu)——ResNet 。這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的想法主要源于VLAD（殘差的想法來源）和Highway Network（跳躍連接的想法來源）。
ResNet詳細(xì)解說再放一遍ResNet結(jié)構(gòu)圖。要知道咱們要介紹的核心就是這個(gè)圖啦?。≧esNet block有兩種，一種兩層結(jié)構(gòu) ，一種三層結(jié)構(gòu)）
兩種ResNet block（代碼給出了兩種殘差塊以供選擇）
咱們要求解的映射為：H(x)
現(xiàn)在咱們將這個(gè)問題轉(zhuǎn)換為求解網(wǎng)絡(luò)的殘差映射函數(shù) ，也就是F(x) ，其中F(x) = H(x)-x 。

殘差：觀測值與輸入值之間的差。
這里H(x)就是觀測值， x就是輸入值（也就是上一層ResNet輸出的特征映射）。
我們一般稱x為identity Function ，它是一個(gè)跳躍連接；稱F(x)為殘差映射ResNet Function 。
那么咱們要求解的問題變成了H(x) = F(x)+x 。
有小伙伴可能會(huì)疑惑，咱們干嘛非要經(jīng)過F(x)之后再求解H(x)??？X的跳躍連接有什么好處嗎？
因?yàn)槿绻遣捎靡话愕木矸e神經(jīng)網(wǎng)絡(luò)的化，原先咱們要求解的是H(x) = F(x)這個(gè)值對不？ResNet相當(dāng)于將學(xué)習(xí)目標(biāo)改變了，不再是學(xué)習(xí)一個(gè)完整的輸出H(x) ，只是輸出和輸入的差別H(x)-x ，即殘差。學(xué)習(xí)一個(gè)微小的波動(dòng)F（x）不比學(xué)習(xí)一個(gè)整個(gè)x更容易嗎？X的跳躍連接除了讓網(wǎng)絡(luò)的學(xué)習(xí)有了基礎(chǔ) ，在梯度反向傳播時(shí)也能更直接的傳到前面的層去。
殘差塊
殘差塊通過跳躍連接shortcut connection實(shí)現(xiàn) ，通過shortcut將這個(gè)block的輸入和輸出進(jìn)行一個(gè)逐點(diǎn)element-wise的加疊，這個(gè)簡單的加法并不會(huì)給網(wǎng)絡(luò)增加額外的參數(shù)和計(jì)算量，同時(shí)卻可以大大增加模型的訓(xùn)練速度、提高訓(xùn)練效果，并且當(dāng)模型的層數(shù)加深時(shí) ，這個(gè)簡單的結(jié)構(gòu)能夠很好的解決退化問題。