1. 首頁 > 云知道 > >

視頻格式轉換大師破解版 免費視頻高清修復清晰軟件

云知道

圖像超分辨率技術指的是根據低分辨率圖像生成高分辨率圖像的過程，該技術希望根據已有的圖像信息重構出缺失的圖像細節 。視頻超分辨率技術則更加復雜，不僅需要生成細節豐富的一幀幀圖像，還要保持圖像之間的連貫性 。
在一篇名為「Temporally Coherent GANs for Video Super-Resolution (TecoGAN)」的論文中，來自慕尼黑工業大學的研究人員提出了一種用于實現視頻超分辨率的新型 GAN——TecoGAN 。
此前，已經有開發者利用 ESRGAN 這種視頻超分辨率模型重制了很多單機游戲，包括經典的重返德軍總部、馬克思·佩恩和上古卷軸 III：晨風等等 。重制的高清版游戲在畫質上有很好的效果，而且還保留了原始紋理的美感與風格 。
以下三幅動圖的右半部分是用 TecoGAN 生成的，說不定用它來重制單機游戲會有更驚人的效果 。該方法能夠生成精細的細節，較長的生成視頻序列也不會影響其時間連貫度 。
圖中，動物皮的網格結構、蜥蜴的圖案和蜘蛛背部的斑點無不彰顯該方法的效果 。該方法中的時空判別器在引導生成器網絡輸出連貫細節方面居功至偉 。

視頻格式轉換大師破解版 免費視頻高清修復清晰軟件




視頻格式轉換大師破解版 免費視頻高清修復清晰軟件


這個視頻超分辨率 GAN 牛在哪里？自然圖像超分辨率是圖像和視頻處理領域的一大經典難題 。對于單一圖像超分辨率（SISR），基于深度學習的方法可以達到當前最佳的峰值信噪比（PSNR），而基于 GAN 的架構在感知質量方面實現了重大改進 。
在視頻超分辨率（VSR）任務中，現有的方法主要使用標準損失函數，如均方差損失，而不是對抗損失函數 。類似地，對結果的評估仍然聚焦于基于向量范數的指標，如 PSNR 和結構相似性（Structural Similarity，SSIM）指標 。與 SISR 相比，VSR 的主要難點在于如何獲取清晰的結果，且不會出現不自然的偽影 ?；诰讲顡p失，近期的 VSR 任務使用來自低分辨率輸入的多個幀 [13]，或重用之前生成的結果 [28] 來改進時間連貫度 。
【視頻格式轉換大師破解版 免費視頻高清修復清晰軟件】盡管對抗訓練可以改善單個圖像的視覺質量，但它并不常用于視頻 。在視頻序列案例中，我們不僅要研究任意的自然細節，還要研究可以穩定形式基于較長圖像序列生成的細節 。
該研究首次提出了一種對抗和循環訓練方法，以監督空間高頻細節和時間關系 。在沒有真值動態的情況下，時空對抗損失和循環結構可使該模型生成照片級真實度的細節，同時使幀與幀之間的生成結構保持連貫 。研究者還發現了一種使用對抗損失的循環架構可能會出現的新型模型崩潰，并提出了一種雙向損失函數用于移除對應的偽影 。
該研究的核心貢獻包括：
  • 提出首個時空判別器，以獲得逼真和連貫的視頻超分辨率；
  • 提出新型 Ping-Pong 損失，以解決循環偽影；
  • 從空間細節和時間連貫度方面進行詳細的評估；
  • 提出新型評估指標，基于動態估計和感知距離來量化時間連貫度 。
論文：Temporally Coherent GANs for Video Super-Resolution (TecoGAN)
視頻格式轉換大師破解版 免費視頻高清修復清晰軟件


論文鏈接：
https://arxiv.org/pdf/1811.09393.pdf
摘要：對抗訓練在單圖像超分辨率任務中非常成功，因為它可以獲得逼真、高度細致的輸出結果 。因此，當前最優的視頻超分辨率方法仍然支持較簡單的范數（如 L2）作為對抗損失函數 。直接向量范數作損失函數求平均的本質可以輕松帶來時間流暢度和連貫度，但生成圖像缺乏空間細節 。該研究提出了一種用于視頻超分辨率的對抗訓練方法，可以使分辨率具備時間連貫度，同時不會損失空間細節 。

推薦閱讀