日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

2022年信息技術(shù)考試題庫(kù)操作題 2022年信息技術(shù)考試題庫(kù)

云知道

機(jī)器之心專欄
作者：蘇永怡

2022年信息技術(shù)考試題庫(kù)操作題 2022年信息技術(shù)考試題庫(kù)


2022年信息技術(shù)考試題庫(kù)（2022年信息技術(shù)考試題庫(kù)操作題）
華南理工、A*STAR團(tuán)隊(duì)和鵬城實(shí)驗(yàn)室聯(lián)合提出了針對(duì)測(cè)試階段訓(xùn)練（TTT）問題的系統(tǒng)性分類準(zhǔn)則 。
域適應(yīng)是解決遷移學(xué)習(xí)的重要方法，當(dāng)前域適應(yīng)當(dāng)法依賴原域和目標(biāo)域數(shù)據(jù)進(jìn)行同步訓(xùn)練 。當(dāng)源域數(shù)據(jù)不可得，同時(shí)目標(biāo)域數(shù)據(jù)不完全可見時(shí)，測(cè)試階段訓(xùn)練（Test-TimeTraining）成為新的域適應(yīng)方法 。當(dāng)前針對(duì)Test-TimeTraining（TTT）的研究廣泛利用了自監(jiān)督學(xué)習(xí)、對(duì)比學(xué)習(xí)、自訓(xùn)練等方法，然而，如何定義真實(shí)環(huán)境下的TTT卻被經(jīng)常忽略，以至于不同方法間缺乏可比性 。
近日，華南理工、A*STAR團(tuán)隊(duì)和鵬城實(shí)驗(yàn)室聯(lián)合提出了針對(duì)TTT問題的系統(tǒng)性分類準(zhǔn)則，通過區(qū)分方法是否具備順序推理能力（SequentialInference）和是否需要修改源域訓(xùn)練目標(biāo)，對(duì)當(dāng)前方法做了詳細(xì)分類 。同時(shí)，提出了基于目標(biāo)域數(shù)據(jù)定錨聚類（AnchoredClustering）的方法，在多種TTT分類下取得了最高的分類準(zhǔn)確率，本文對(duì)TTT的后續(xù)研究指明了正確的方向，避免了實(shí)驗(yàn)設(shè)置混淆帶來(lái)的結(jié)果不可比問題 。研究論文已被NeurIPS2022接收 。
一、引言
深度學(xué)習(xí)的成功主要?dú)w功于大量的標(biāo)注數(shù)據(jù)和訓(xùn)練集與測(cè)試集獨(dú)立同分布的假設(shè) 。在一般情況下，需要在合成數(shù)據(jù)上訓(xùn)練，然后在真實(shí)數(shù)據(jù)上測(cè)試時(shí)，以上假設(shè)就沒辦法滿足，這也被稱為域偏移 。為了緩解這個(gè)問題，域適應(yīng)(DomainAdaptation,DA)誕生了 ?，F(xiàn)有的DA工作要么需要在訓(xùn)練期間訪問源域和目標(biāo)域的數(shù)據(jù)，要么同時(shí)在多個(gè)域進(jìn)行訓(xùn)練 。前者需要模型在做適應(yīng)(Adaptation)訓(xùn)練期間總是能訪問到源域數(shù)據(jù)，而后者需要更加昂貴的計(jì)算量 。為了降低對(duì)源域數(shù)據(jù)的依賴，由于隱私問題或者存儲(chǔ)開銷不能訪問源域數(shù)據(jù)，無(wú)需源域數(shù)據(jù)的域適應(yīng)(Source-FreeDomainAdaptation,SFDA)解決無(wú)法訪問源域數(shù)據(jù)的域適應(yīng)問題 。作者發(fā)現(xiàn)SFDA需要在整個(gè)目標(biāo)數(shù)據(jù)集上訓(xùn)練多個(gè)輪次才能達(dá)到收斂，在面對(duì)流式數(shù)據(jù)需要及時(shí)做出推斷預(yù)測(cè)的時(shí)候SFDA無(wú)法解決此類問題 。這種面對(duì)流式數(shù)據(jù)需要及時(shí)適應(yīng)并做出推斷預(yù)測(cè)的更現(xiàn)實(shí)的設(shè)定，被稱為測(cè)試時(shí)訓(xùn)練(Test-TimeTraining,TTT)或測(cè)試時(shí)適應(yīng)(Test-TimeAdaptation,TTA) 。
作者注意到在社區(qū)里對(duì)TTT的定義存在混亂從而導(dǎo)致比較的不公平 。論文以兩個(gè)關(guān)鍵的因素對(duì)現(xiàn)有的TTT方法進(jìn)行分類：
這篇論文的目標(biāo)是解決最現(xiàn)實(shí)和最具挑戰(zhàn)性的TTT協(xié)議，即單輪適應(yīng)并無(wú)需修改訓(xùn)練損失方程 。這個(gè)設(shè)定類似于TENT[1]提出的TTA，但不限于使用來(lái)自源域的輕量級(jí)信息，如特征的統(tǒng)計(jì)量 。鑒于TTT在測(cè)試時(shí)高效適應(yīng)的目標(biāo)，該假設(shè)在計(jì)算上是高效的，并大大提高了TTT的性能 。作者將這個(gè)新的TTT協(xié)議命名為順序測(cè)試時(shí)訓(xùn)練(sequentialTestTimeTraining,sTTT) 。
除了以上對(duì)不同TTT方法的分類外，論文還提出了兩個(gè)技術(shù)讓sTTT更加有效和準(zhǔn)確：
二、方法介紹
論文分了四部分來(lái)闡述所提出的方法，分別是1）介紹測(cè)試時(shí)訓(xùn)練(TTT)的錨定聚類模塊，如圖1中的AnchoredClustering部分；2）介紹用于過濾偽標(biāo)簽的一些策略，如圖1中的PseudoLabelFilter部分；3）不同于TTT++[2]中的使用L2距離來(lái)衡量?jī)蓚€(gè)分布的距離，作者使用了KL散度來(lái)度量?jī)蓚€(gè)全局特征分布間的距離；4）介紹在測(cè)試時(shí)訓(xùn)練(TTT)過程的特征統(tǒng)計(jì)量的有效更新迭代方法 。最后第五小節(jié)給出了整個(gè)算法的過程代碼 。
第一部分在錨定聚類里，作者首先使用混合高斯對(duì)目標(biāo)域的特征進(jìn)行建模，其中每個(gè)高斯分量代表一個(gè)被發(fā)現(xiàn)的聚類 。然后，作者使用源域中每個(gè)類別的分布作為目標(biāo)域分布的錨點(diǎn)來(lái)進(jìn)行匹配 。通過這種方式，測(cè)試數(shù)據(jù)特征可以同時(shí)形成集群，并且集群與源域類別相關(guān)聯(lián)，從而達(dá)到了對(duì)目標(biāo)域的推廣 。概述來(lái)說(shuō)就是，將源域和目標(biāo)域的特征分別根據(jù)類別信息建模成：

推薦閱讀