日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

人臉風(fēng)格化失敗問(wèn)題,風(fēng)格遷移

圖像中的文本風(fēng)格遷移在藝術(shù)設(shè)計(jì)和學(xué)術(shù)研究中都能發(fā)揮作用:使用這兩種方法實(shí)現(xiàn)文本風(fēng)格遷移,可以得到充滿設(shè)計(jì)感的照片,設(shè)計(jì)師能快速地找到一個(gè)場(chǎng)景適合的文本風(fēng)格:(在上面兩幅圖中,左側(cè)這一列的圖像“復(fù)制”了頂端兩張小圖的文字風(fēng)格,生成了變換風(fēng)格后的圖像)一些帶有復(fù)雜背景的文本風(fēng)格也能完美復(fù)制到別的場(chǎng)景中:使用文本風(fēng)格遷移,可以輕松切換不同的打印字體(machineprintedtext)風(fēng)格 。
目前AI研究界里“文本風(fēng)格遷移”有什么重大成果?

人臉風(fēng)格化失敗問(wèn)題,風(fēng)格遷移


堪比取色器!多種文本風(fēng)格隨意復(fù)制畫圖軟件中的取色器很多人都用過(guò),“吸管”吸一下就能復(fù)制你想要的顏色,然后就可以把這個(gè)顏色用到任何你想要改變的素材中:現(xiàn)在,文本的風(fēng)格也能實(shí)現(xiàn)這樣的“一鍵復(fù)制”了!最近,西班牙的研究人員成功實(shí)現(xiàn)了圖像中文本區(qū)域的風(fēng)格遷移(Selective Style Transfer for Text):一張帶有文字的照片 一張文字風(fēng)格鮮明的照片就能輕松地改變?cè)瓉?lái)圖片中的文本風(fēng)格:(顏色、字體都發(fā)生了變化)甚至,用這種方法還能模仿別人的筆跡:這是一個(gè)人(稱為A)手寫文字片段的照片:這是另一個(gè)人(稱為B)手寫的另一段文字的照片:將A寫的這段文字變換為B的風(fēng)格,A寫的這段文字就變成了下面這樣的效果:這種針對(duì)圖像中的文字進(jìn)行風(fēng)格遷移的任務(wù)叫做選擇性文本風(fēng)格遷移(Selective Style Transfer for Text):首先,自動(dòng)檢測(cè)圖像中文本所在的區(qū)域,然后將新的文本樣式應(yīng)用到該區(qū)域,圖像中的非文本部分保持不變 。
有兩種方法都實(shí)現(xiàn)了不錯(cuò)的文本風(fēng)格遷移效果:兩階段法和端到端法Two-stage兩階段法1)首先根據(jù)源風(fēng)格圖像(上圖中的Source Style Image)將整幅圖像(上圖中的Source Content Image)風(fēng)格化;2)利用TextFCN文本檢測(cè)器確定圖像中的文本區(qū)域,并計(jì)算該圖像區(qū)域像素級(jí)的熱圖 。
為了讓最終生成的圖像只改變文本區(qū)域的風(fēng)格,將原始圖像和使用TextFCN熱圖加權(quán)的風(fēng)格化圖像進(jìn)行混合 。這種方法可以獲得逼真的文本風(fēng)格化圖像,并確保非文本區(qū)域保持不變 。End-to end端到端法在深度學(xué)習(xí)中,端到端指的是輸入原始數(shù)據(jù),輸出的是最后的結(jié)果,中間的一系列操作都在神經(jīng)網(wǎng)絡(luò)內(nèi)部進(jìn)行,不必分模塊進(jìn)行處理(可以把中間的神經(jīng)網(wǎng)絡(luò)當(dāng)作黑盒子) 。
受到“蒸餾策略(distillation strategy)”的啟發(fā),這項(xiàng)研究提出了一個(gè)新的端到端網(wǎng)絡(luò)架構(gòu)(“蒸餾”的基本思想是將能夠解決不同任務(wù)的各種網(wǎng)絡(luò)學(xué)習(xí)到的信息傳遞到一個(gè)模型中) 。將圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)(image style transformation network)與文本檢測(cè)器結(jié)合起來(lái),利用預(yù)訓(xùn)練的圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)和文本的真實(shí)注釋來(lái)訓(xùn)練一個(gè)隨機(jī)初始化圖像轉(zhuǎn)換網(wǎng)絡(luò)(上圖中的Selective Style Transfer),損失函數(shù)為均方誤差損失(mean squared error loss) 。
【人臉風(fēng)格化失敗問(wèn)題,風(fēng)格遷移】圖像中的文本風(fēng)格遷移在藝術(shù)設(shè)計(jì)和學(xué)術(shù)研究中都能發(fā)揮作用:使用這兩種方法實(shí)現(xiàn)文本風(fēng)格遷移,可以得到充滿設(shè)計(jì)感的照片,設(shè)計(jì)師能快速地找到一個(gè)場(chǎng)景適合的文本風(fēng)格:(在上面兩幅圖中,左側(cè)這一列的圖像“復(fù)制”了頂端兩張小圖的文字風(fēng)格,生成了變換風(fēng)格后的圖像)一些帶有復(fù)雜背景的文本風(fēng)格也能完美復(fù)制到別的場(chǎng)景中:使用文本風(fēng)格遷移,可以輕松切換不同的打印字體(machine printed text)風(fēng)格 。
利用這種特點(diǎn),在文本識(shí)別任務(wù)中,可以將圖像中任意風(fēng)格的文本轉(zhuǎn)換為統(tǒng)一的風(fēng)格,減少識(shí)別步驟 。這種方法還是一種非常好的數(shù)據(jù)增強(qiáng)工具,可以增加文本的多樣性(同一段文字,不同的字體、顏色等屬性),提高文本檢測(cè)模型的性能 。送上原文地址:Selective Style Transfer for Text,詳細(xì)的技術(shù)實(shí)現(xiàn)可以參考文章中的介紹 。

推薦閱讀