日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

骨干網(wǎng)絡(luò) 骨干網(wǎng)絡(luò)是什么意思

云知道網(wǎng)絡(luò)


骨干網(wǎng)絡(luò) 骨干網(wǎng)絡(luò)是什么意思


機(jī)器之心發(fā)布
機(jī)器之心編輯部
PP-LCNet 在同樣精度的情況下，速度遠(yuǎn)超當(dāng)前所有的骨架網(wǎng)絡(luò)，最多可以有 2 倍的性能優(yōu)勢(shì)！
算法速度優(yōu)化遇到瓶頸，達(dá)不到要求？應(yīng)用環(huán)境沒有高性能硬件只有 CPU？
是不是直接戳中了各位開發(fā)者的痛點(diǎn)！莫慌，今天小編就來為萬(wàn)千開發(fā)者破局 。
這個(gè)破局點(diǎn)就是：針對(duì) CPU 設(shè)備及加速庫(kù) MKLDNN 定制的骨干網(wǎng)絡(luò) PP-LCNet！
空口無憑 ， 上圖為證！

從上圖我們可以看出，PP-LCNet 在同樣精度的情況下，速度遠(yuǎn)超當(dāng)前所有的骨架網(wǎng)絡(luò)，最多可以有 2 倍的性能優(yōu)勢(shì)！它應(yīng)用在比如目標(biāo)檢測(cè)、語(yǔ)義分割等任務(wù)算法上，也可以使原本的網(wǎng)絡(luò)有大幅度的性能提升 。
而這個(gè) PP-LCNet 的論文發(fā)布和代碼開源后，也著實(shí)引來了眾多業(yè)界開發(fā)者的關(guān)注，各界大神把 PP-LCNet 應(yīng)用在 YOLO 系列算法上也真實(shí)帶來了極其可觀的性能收益 。
這時(shí)候是不是有小伙伴已經(jīng)按耐不住也想直接上手試試了？！
小編識(shí)趣地趕緊送上開源代碼的傳送門 。大家一定要 Star 收藏以免走失，也給開源社區(qū)一些認(rèn)可和鼓勵(lì) 。
地址：https://github.com/PaddlePaddle/PaddleClas
而這個(gè) PP-LCNet 到底是如何設(shè)計(jì)，從而有這么好的性能的呢？下面小編就帶大家來領(lǐng)略一下：
PP-LCNet 核心技術(shù)解讀
近年來，很多輕量級(jí)的骨干網(wǎng)絡(luò)問世，各種 NAS 搜索出的網(wǎng)絡(luò)尤其亮眼 。但這些算法的優(yōu)化都脫離了產(chǎn)業(yè)最常用的 Intel CPU 設(shè)備環(huán)境，加速能力也往往不合預(yù)期 。百度飛槳圖像分類套件 PaddleClas 基于這樣的產(chǎn)業(yè)現(xiàn)狀，針對(duì) Intel CPU 及其加速庫(kù) MKLDNN 定制了獨(dú)特的高性能骨干網(wǎng)絡(luò) PP-LCNet 。比起其他的輕量級(jí) SOTA 模型 ， 該骨干網(wǎng)絡(luò)可以在不增加推理時(shí)間的情況下 ， 進(jìn)一步提升模型的性能 ， 最終大幅度超越現(xiàn)有的 SOTA 模型 。

PP-LCNet 的網(wǎng)絡(luò)結(jié)構(gòu)整體如上圖所示 。我們經(jīng)過大量的實(shí)驗(yàn)發(fā)現(xiàn)，在基于 Intel CPU 的設(shè)備上 ， 尤其當(dāng)啟用 MKLDNN 加速庫(kù)后，很多看似不太耗時(shí)的操作反而會(huì)增加延時(shí)，比如 elementwise-add 操作、split-concat 結(jié)構(gòu)等 。所以最終我們選用了結(jié)構(gòu)盡可能精簡(jiǎn)、速度盡可能快的 block 組成我們的 BaseNet（類似 MobileNetV1） ?；?BaseNet，我們通過實(shí)驗(yàn) ， 總結(jié)出四條幾乎不增加延時(shí)但又能夠提升模型精度的方法，下面將對(duì)這四條策略進(jìn)行詳細(xì)介紹：
更好的激活函數(shù)
自從卷積神經(jīng)網(wǎng)絡(luò)使用了 ReLU 激活函數(shù)后，網(wǎng)絡(luò)性能得到了大幅度提升 。近些年 ReLU 激活函數(shù)的變體也相繼出現(xiàn)，如 Leaky-ReLU、P-ReLU、ELU 等 。2017 年 ， 谷歌大腦團(tuán)隊(duì)通過搜索的方式得到了 swish 激活函數(shù)，該激活函數(shù)在輕量級(jí)網(wǎng)絡(luò)上表現(xiàn)優(yōu)異 。在 2019 年，MobileNetV3 的作者將該激活函數(shù)進(jìn)一步優(yōu)化為 H-Swish，該激活函數(shù)去除了指數(shù)運(yùn)算，速度更快，網(wǎng)絡(luò)精度幾乎不受影響 。我們也經(jīng)過很多實(shí)驗(yàn)發(fā)現(xiàn)該激活函數(shù)在輕量級(jí)網(wǎng)絡(luò)上有優(yōu)異的表現(xiàn) 。所以在 PP-LCNet 中，我們選用了該激活函數(shù) 。
合適的位置添加 SE 模塊
SE 模塊是 SENet 提出的一種通道注意力機(jī)制 ， 可以有效提升模型的精度 。但是在 Intel CPU 端 ， 該模塊同樣會(huì)帶來較大的延時(shí)，如何平衡精度和速度是我們要解決的一個(gè)問題 。雖然在 MobileNetV3 等基于 NAS 搜索的網(wǎng)絡(luò)中對(duì) SE 模塊的位置進(jìn)行了搜索，但是并沒有得出一般的結(jié)論 。我們通過實(shí)驗(yàn)發(fā)現(xiàn)，SE 模塊越靠近網(wǎng)絡(luò)的尾部對(duì)模型精度的提升越大 。下表也展示了我們的一些實(shí)驗(yàn)結(jié)果：

推薦閱讀