一二三四在线观看视频韩国 ,美腿丝袜av+中文字幕

邊策蕭簫發(fā)自凹非寺量子位報(bào)道 | 公眾號(hào) QbitAI
疫情之下，我們已經(jīng)看慣了線上的一切：云畢業(yè)典禮、云學(xué)術(shù)會(huì)議、云發(fā)布會(huì) 。
但這些“云”終究讓人感覺沒“內(nèi)味” 。
因?yàn)闆]有身后的PPT投影、手舞足蹈的演講，終歸都是沒有靈魂的！
所以，上海交大ACM班校友、南加州大學(xué)在讀博士黃锃用專業(yè)知識(shí)，給自己辦了場(chǎng)特殊的博士論文答辯。

他只有一個(gè)攝像頭，家里沒有投影儀，卻把自己的答辯會(huì)辦得像在禮堂演講一樣。
演講人從2D變成3D，臥室背后的白墻也變成自己展示論文PPT的幕布。
右上角就是真實(shí)的黃锃同學(xué)，他一邊演講，電腦實(shí)時(shí)把他變成3D模型投影到場(chǎng)景中，導(dǎo)師們看到這一幕不禁笑了，隨手就是一個(gè)轉(zhuǎn)發(fā) 。

在黃锃同學(xué)的主頁上，我們發(fā)現(xiàn)了他的學(xué)弟李瑞龍?jiān)缇烷_始“整活”，驗(yàn)證了3D論文答辯的可行性。

現(xiàn)在黃锃同學(xué)的這項(xiàng)研究已經(jīng)被ECCV 2020收錄。
背后的技術(shù)
黃锃過去就一直從事3D圖像重建的研究工作，去年他參與的一項(xiàng)研究PIFu（像素對(duì)齊隱式函數(shù)）可以從單張圖片重建完全紋理的3D人體圖像。

但是因?yàn)镻IFu對(duì)硬件的要求很高，導(dǎo)致該技術(shù)并不能用于實(shí)時(shí)的圖像重建。
為此，黃锃和團(tuán)隊(duì)里的李瑞龍、修宇亮等一起提出了一種新穎的分層表面定位算法，和一種無需顯式提取表面網(wǎng)格的直接渲染方法。
通過從粗到細(xì)的方式選擇不必要的區(qū)域進(jìn)行評(píng)估，成功地將3D重建速度提高了兩個(gè)數(shù)量級(jí)，同時(shí)沒有降低質(zhì)量。
結(jié)果證明，這種從單攝像頭實(shí)時(shí)重建3D視頻的方法，處理速度可達(dá)15fps，3D空間分辨率為2563 。

為了減少實(shí)時(shí)3D重建所需的計(jì)算量，作者引入了兩種新穎的加速技術(shù)：基于八叉樹的魯棒表面定位、無網(wǎng)格渲染。
由于算法流水線的主要瓶頸，是要在過多的3D位置上進(jìn)行估計(jì)，因此，減少要估計(jì)的點(diǎn)數(shù)將大大提高性能。
八叉樹是用于有效形狀重構(gòu)的通用數(shù)據(jù)表示，它可以分層減少存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)數(shù)量。
作者提出的這種表面定位算法，保留了原來靠蠻力重建的準(zhǔn)確性，而且復(fù)雜度與基于樸素八叉樹的重建算法相同。
此外，作者通過直接從PIFu生成的視圖渲染，來繞過顯式網(wǎng)格重建階段。下圖展示了無網(wǎng)格渲染算法的原理，虛線和實(shí)線分別表示真實(shí)表面和重建表面。

結(jié)合這兩種算法，可以實(shí)時(shí)從任意角度快速渲染3D圖像。
該算法還面臨一個(gè)問題，那就是有些特殊的姿勢(shì)和視角很難恢復(fù)，因?yàn)樗鼈冎辉谟?xùn)練數(shù)據(jù)集中占據(jù)很小的一部分。
一般的方法是進(jìn)行數(shù)據(jù)擴(kuò)展，但是對(duì)于這種3D數(shù)據(jù)來作擴(kuò)增是很困難的。
然而，之前的研究證明，改變數(shù)據(jù)采樣分布會(huì)直接影響重建的質(zhì)量，于是作者找到了一種解決訓(xùn)練數(shù)據(jù)偏差的方法OHEM 。
其關(guān)鍵思想，是讓網(wǎng)絡(luò)自動(dòng)發(fā)現(xiàn)困難的樣本，自適應(yīng)地更改采樣概率。
最后，作者的方法在沒有任何超參數(shù)的情況下實(shí)現(xiàn)了最快加速，在保持原始重建精度的同時(shí)，處理速度從30秒減少到0.14秒。
與無網(wǎng)格渲染技術(shù)相結(jié)合后，處理一幀圖像的時(shí)間只需0.06秒。系統(tǒng)的總體延遲平均為0.25秒。