日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

學(xué)了后面忘前面，治療AI“健忘癥”還難有良策( 二 )

小知識(shí)大腦科普學(xué)習(xí)災(zāi)難性災(zāi)難性遺忘


AI“腦容量”存上限 新舊知識(shí)難共存
AI為什么會(huì)產(chǎn)生“災(zāi)難性遺忘”？
“深度學(xué)習(xí)的結(jié)構(gòu)一旦確定 ， 在訓(xùn)練過(guò)程中很難調(diào)整 。 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)直接決定學(xué)習(xí)模型的容量 。 ”柯逍說(shuō) ， AI“腦容量”存在上限 ， 也就導(dǎo)致了人工智能只能有限地處理特定任務(wù) 。 就像水桶一半高的地方有個(gè)洞 ， 以至于無(wú)論怎么增加水桶的高度 ， 這個(gè)水桶只能裝一半高的水 。
中科院自動(dòng)化所腦網(wǎng)絡(luò)組研究中心研究員、模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任余山指出 ， 這還涉及到神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)知識(shí)的機(jī)制 。 在單個(gè)任務(wù)的訓(xùn)練過(guò)程中 ， 網(wǎng)絡(luò)中各個(gè)神經(jīng)元之間的連接權(quán)重進(jìn)行了專(zhuān)門(mén)的調(diào)整 ， 以勝任當(dāng)前的任務(wù) 。 而在新任務(wù)的訓(xùn)練中 ， 連接權(quán)重要針對(duì)新任務(wù)進(jìn)行調(diào)整 ， 這將“抹去”適應(yīng)舊任務(wù)的原有結(jié)構(gòu) ， 導(dǎo)致在舊任務(wù)上的性能大大下降 。
人類(lèi)的記憶能力其實(shí)是有限的 ， 但為何出現(xiàn)“災(zāi)難性遺忘”的情況卻比較少？“主要是人類(lèi)在學(xué)習(xí)過(guò)程當(dāng)中 ， 大腦能夠主動(dòng)保留有用的知識(shí)和技巧 ， 同時(shí)不影響新的信息獲取 。 ” 紀(jì)榮嶸說(shuō) ， 但現(xiàn)在的人工智能模型大部分是基于隨機(jī)梯度下降來(lái)更新模型參數(shù) ， 這個(gè)過(guò)程主要服務(wù)于當(dāng)前任務(wù)的優(yōu)化 ， 并不會(huì)去評(píng)估哪些參數(shù)權(quán)重對(duì)舊的知識(shí)是有用的 ， 所以就很容易出現(xiàn)知識(shí)被覆蓋的情況 。
紀(jì)榮嶸也表示 ， 當(dāng)前像Siri或小愛(ài)這樣的人工智能助手產(chǎn)品 ， 還不能算真正意義上的通用人工智能 ， 一方面 ， 這些人工智能助手只能在預(yù)設(shè)的知識(shí)范圍內(nèi)和人類(lèi)互動(dòng) ， 完成指令；另一方面 ， 人類(lèi)沒(méi)辦法像養(yǎng)寵物或養(yǎng)小孩一樣 ， 通過(guò)互動(dòng)去教導(dǎo)這些人工智能助手學(xué)習(xí)新的知識(shí)或新的指令 。
有多個(gè)解決方案 但都治標(biāo)不治本
據(jù)了解 ， 破解“災(zāi)難性遺忘”是實(shí)現(xiàn)通用人工智能的一個(gè)關(guān)鍵 。 解決了“災(zāi)難性遺忘”問(wèn)題 ， 就意味著模型具備了持續(xù)學(xué)習(xí)的能力, 可以像人類(lèi)一樣不斷獲取新的知識(shí)、新的技能 ， 同時(shí)能夠最大化地保持舊的經(jīng)驗(yàn)知識(shí)和技巧 。
那么 ， 目前解決“災(zāi)難性遺忘”的方案有哪些？
“最常見(jiàn)的方式是多任務(wù)學(xué)習(xí), 就是把所有任務(wù)的訓(xùn)練數(shù)據(jù)同時(shí)放到一起 ， 模型就可以針對(duì)多種任務(wù)進(jìn)行聯(lián)合優(yōu)化 。 ”紀(jì)榮嶸舉例說(shuō) ， 如讓模型同時(shí)學(xué)習(xí)“坦克大戰(zhàn)”和“超級(jí)瑪麗”兩個(gè)任務(wù) ， 等兩個(gè)任務(wù)同時(shí)學(xué)的差不多的時(shí)候 ， 模型才停止訓(xùn)練 。
但柯逍也指出 ， 這種方式隨著任務(wù)增多 ， 新任務(wù)樣本數(shù)量被稀釋 ， 訓(xùn)練會(huì)拖慢學(xué)習(xí)新知識(shí)的效率 ， 并且不是任何情況都能獲得先前任務(wù)的數(shù)據(jù)來(lái)復(fù)習(xí)的 。
還有的解決方案是根據(jù)新的任務(wù)知識(shí)來(lái)擴(kuò)充模型結(jié)構(gòu) ， 保證舊的知識(shí)經(jīng)驗(yàn)不被損害 。 此次 ， 谷歌大腦所提出的“記憶碎片觀察”方法正是對(duì)不同任務(wù)（場(chǎng)景）構(gòu)建多個(gè)人工智能模型來(lái)進(jìn)行學(xué)習(xí) 。 “模型擴(kuò)充的方式從本質(zhì)上并沒(méi)有解決‘災(zāi)難性遺忘’的問(wèn)題 ， 只是用多個(gè)模型來(lái)替代單個(gè)模型去學(xué)習(xí)多種任務(wù) ， 避免舊參數(shù)被覆蓋 。 ”紀(jì)榮嶸說(shuō) 。
當(dāng)前 ， 解決“災(zāi)難性遺忘”還存在著一對(duì)矛盾：在學(xué)習(xí)新任務(wù)的過(guò)程中 ， 需要給予網(wǎng)絡(luò)足夠多的自由度進(jìn)行連接權(quán)重調(diào)整 ， 但是又要避免這樣的調(diào)整“抹去”原有的記憶 。
“因此 ， 科學(xué)家們開(kāi)始設(shè)計(jì)新的學(xué)習(xí)算法解決上述矛盾 ， 使得網(wǎng)絡(luò)在進(jìn)行權(quán)重調(diào)整的時(shí)候 ， 對(duì)已有知識(shí)的影響最小化 。 ”余山表示 ， 其團(tuán)隊(duì)近期提出的正交權(quán)重修改算法 ， 就屬于這類(lèi) ， 主要通過(guò)限制權(quán)重修改只能在舊任務(wù)的解空間中進(jìn)行 ， 這一算法較好的克服了“災(zāi)難性遺忘” ， 使得同一個(gè)分類(lèi)器網(wǎng)絡(luò)可以連續(xù)學(xué)習(xí)多達(dá)數(shù)千個(gè)類(lèi)別的識(shí)別 。

推薦閱讀