日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

Cityscapes,cityscapes( 三 )

云知道


在利用 Cityscapes 粗糙標(biāo)注數(shù)據(jù)的實(shí)驗中 ， Auto-DeepLab 與一些經(jīng)過 ImageNet 預(yù)訓(xùn)練的當(dāng)前最優(yōu)模型的性能相近 。值得注意的是 ， 本研究的最佳模型（未經(jīng)過預(yù)訓(xùn)練）與 DeepLab v3 （有預(yù)訓(xùn)練）的表現(xiàn)相近 ， 但在 MultiAdds 中前者的速度是后者的 2.23 倍 。另外 ， Auto-DeepLab 的輕量級模型性能僅比 DeepLab v3低 1.2% ， 而參數(shù)量需求卻少了 76.7% ， 在 MultiAdds 中的速度是 DeepLab v3的 4.65 倍 。
在 PASCAL VOC 2012 和 ADE29K 上 ， Auto-DeepLab 最優(yōu)模型在使用極少數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的情況下 ， 性能優(yōu)于很多當(dāng)前最優(yōu)模型 。本論文主要貢獻(xiàn)如下：這是首次將 NAS 從圖像分類任務(wù)擴(kuò)展到密集圖像預(yù)測任務(wù)的嘗試之一 。該研究提出了一個網(wǎng)絡(luò)級架構(gòu)搜索空間 ， 它增強(qiáng)和補(bǔ)充了已經(jīng)得到深入研究的單元級架構(gòu)搜索 ， 并對網(wǎng)絡(luò)級和單元級架構(gòu)進(jìn)行更具挑戰(zhàn)性的聯(lián)合搜索 。
本研究提出了一種可微的連續(xù)方式 ， 保證高效運(yùn)行兩級分層架構(gòu)搜索 ， 在一個 GPU 上僅需 3 天 。在未經(jīng) ImageNet 預(yù)訓(xùn)練的情況下 ， Auto-DeepLab 模型在 Cityscapes 數(shù)據(jù)集上的性能顯著優(yōu)于 FRRN-B 和 GridNet ， 同時也和 ImageNet 預(yù)訓(xùn)練當(dāng)前最佳模型性能相當(dāng) 。
在 PASCAL VOC 2012 和 ADE20K 數(shù)據(jù)集上 ， 最好的 Auto-DeepLab 模型優(yōu)于多個當(dāng)前最優(yōu)模型 。論文：Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation論文地址：https://arxiv.org/pdf/1901.02985v1.pdf摘要：近期 ， 在圖像分類問題上神經(jīng)架構(gòu)搜索（NAS）確定的神經(jīng)網(wǎng)絡(luò)架構(gòu)能力超越人類設(shè)計的網(wǎng)絡(luò) 。
本論文將研究用于語義圖像分割的 NAS ， 語義圖像分割是將語義標(biāo)簽分配給圖像中每個像素的重要計算機(jī)視覺任務(wù) ?，F(xiàn)有的研究通常關(guān)注搜索可重復(fù)的單元結(jié)構(gòu) ， 對控制空間分辨率變化的外部網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行人工設(shè)計 。這種做法簡化了搜索空間 ， 但對于具備大量網(wǎng)絡(luò)級架構(gòu)變體的密集圖像預(yù)測而言 ， 該方法帶來的問題很多 。因此 ， 該研究提出在搜索單元結(jié)構(gòu)之外還要搜索網(wǎng)絡(luò)級架構(gòu) ， 從而形成一個分層架構(gòu)搜索空間 。
本研究提出一種包含多種流行網(wǎng)絡(luò)設(shè)計的網(wǎng)絡(luò)級搜索空間 ， 并提出一個公式來進(jìn)行基于梯度的高效架構(gòu)搜索（在 Cityscapes 圖像上使用 1 個 P100 GPU 僅需 3 天） 。本研究展示了該方法在較難的 Cityscapes、PASCAL VOC 2012 和 ADE20K 數(shù)據(jù)集上的效果 。在不經(jīng)任何 ImageNet 預(yù)訓(xùn)練的情況下 ， 本研究提出的專用于語義圖像分割的架構(gòu)獲得了當(dāng)前最優(yōu)性能 。
4 方法這部分首先介紹了精確匹配上述分層架構(gòu)搜索的離散架構(gòu)的連續(xù)松弛 ， 然后討論了如何通過優(yōu)化執(zhí)行架構(gòu)搜索 ， 以及如何在搜索終止后解碼離散架構(gòu) 。4.2 優(yōu)化連續(xù)松弛的作用在于控制不同隱藏狀態(tài)之間連接強(qiáng)度的標(biāo)量現(xiàn)在也是可微計算圖的一部分 。因此可以使用梯度下降對其進(jìn)行高效優(yōu)化 。作者采用了 [49] 中的一階近似 ， 將訓(xùn)練數(shù)據(jù)分割成兩個單獨(dú)的數(shù)據(jù)集 trainA 和 trainB 。
優(yōu)化在以下二者之間交替進(jìn)行：1. 用 ?_w L_trainA(w, α, β) 更新網(wǎng)絡(luò)權(quán)重 w；2. 用 ?_(α,β) L_trainB(w, α, β) 更新架構(gòu) α, β 。其中損失函數(shù) L 是在語義分割小批量上計算的交叉熵 。4.3 解碼離散架構(gòu)單元架構(gòu)和 [49] 一樣 ， 本研究首先保留每個構(gòu)造塊的兩個最強(qiáng)前任者（predecessor） ， 然后使用 argmax 函數(shù)選擇最可能的 operator ， 從而解碼離散單元架構(gòu) 。
網(wǎng)絡(luò)架構(gòu)公式 7 本質(zhì)上表明圖 1 中每個藍(lán)色節(jié)點(diǎn)處的「outgoing 概率」的總和為 1 。事實(shí)上 ， β 可被理解為不同「時間步」（層數(shù)）中不同「狀態(tài)」（空間分辨率）之間的「transition 概率」 。本研究的目標(biāo)是從頭開始找到具備「最大概率」的的路徑 。在實(shí)現(xiàn)中 ， 作者可以使用經(jīng)典維特比算法高效解碼該路徑 。

推薦閱讀