国产精品熟女高潮大叫,青娱乐极品视觉盛宴国产视频,亚洲av无码成h人动漫在线观看

那么此時(shí)的誤差是：

可以看到，這是與維數(shù)無(wú)關(guān)的！
如果讓激活函數(shù)為

，那么

就是以

為激活函數(shù)的兩層神經(jīng)網(wǎng)絡(luò) 。此結(jié)果意味著：這一類(lèi)（可以表示成期望）的函數(shù) ，都可以由兩層神經(jīng)網(wǎng)絡(luò)逼近，且逼近誤差的速率與維數(shù)無(wú)關(guān)！
對(duì)于一般的雙層神經(jīng)網(wǎng)絡(luò)，我們可以得到一系列類(lèi)似的逼近結(jié)果。其中關(guān)鍵的問(wèn)題是：到底什么樣的函數(shù)可以被雙層神經(jīng)網(wǎng)絡(luò)逼近？為此，我們引入Barron空間的定義：

Barron空間的定義
參考：E, Chao Ma, Lei Wu (2019)
對(duì)于任意的Barron函數(shù)，存在一個(gè)兩層神經(jīng)網(wǎng)絡(luò)

，其逼近誤差滿足：

可以看到這一逼近誤差與維數(shù)無(wú)關(guān)?。ü賾謖獠糠擲礪鄣南附?，可覉A慰跡篍, Ma and Wu (2018, 2019), E and Wojtowytsch (2020) 。其他的關(guān)于Barron space的分類(lèi)理論，可以參考Kurkova (2001), Bach (2017),
Siegel and Xu (2021)）
類(lèi)似的理論可以推廣到殘差神經(jīng)網(wǎng)絡(luò)(residual neural network) 。在殘差神經(jīng)網(wǎng)絡(luò)中，我們可以用流-誘導(dǎo)函數(shù)空間（flow-induced function space）替代Barron空間。
2.4 泛化性：訓(xùn)練誤差與測(cè)試誤差的差別
人們一般會(huì)期待，訓(xùn)練誤差與測(cè)試誤差的差別會(huì)正比于

（n是樣本數(shù)量）。然而，我們訓(xùn)練好的機(jī)器學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù)是強(qiáng)相關(guān)的，這導(dǎo)致這樣子的Monte-Carlo速率不一定成立。為此，我們給出了如下的泛化性理論：

簡(jiǎn)言之，我們用Rademacher復(fù)雜度來(lái)刻畫(huà)一個(gè)空間在數(shù)據(jù)集上擬合隨機(jī)噪聲的能力。Rademacher復(fù)雜度的定義為：

其中

是取值為1或-1的獨(dú)立同分布的隨機(jī)變量。
當(dāng)

是李樸西斯空間中的單位球時(shí)，其Rademacher復(fù)雜度正比于

。
當(dāng)d增加時(shí)，可以看到擬合需要的樣本大小指數(shù)上升。這其實(shí)是另一種形式的維度災(zāi)難。
2.5 訓(xùn)練過(guò)程的數(shù)學(xué)理解
關(guān)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，有兩個(gè)基本的問(wèn)題：
?
梯度下降方法到底能不能快速收斂？
?
訓(xùn)練得到的結(jié)果，是否有比較好的泛化性？
對(duì)于第一個(gè)問(wèn)題，答案恐怕是悲觀的。Shamir(2018)中的引理告訴我們，基于梯度的訓(xùn)練方法，其收斂速率也受維度災(zāi)難的影響。而前文提到的Barron space，雖然是建立逼近理論的好手段，但對(duì)于理解神經(jīng)網(wǎng)絡(luò)的訓(xùn)練卻是一個(gè)過(guò)大的空間。
特別地，這樣子的負(fù)面結(jié)果可以在高度超參數(shù)(highly over-parameterized regime)的情形（即m>>n）下得到具體刻畫(huà) 。在此情形下，參數(shù)的動(dòng)力學(xué)出現(xiàn)了尺度分離的現(xiàn)象：對(duì)于如下的兩層神經(jīng)網(wǎng)絡(luò)：