日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

機(jī)器學(xué)習(xí)為什么需要訓(xùn)練,模型訓(xùn)練( 三 )


在眾所周知的基準(zhǔn)測(cè)試中拿下新頂點(diǎn)的模型(即使僅提升一個(gè)百分點(diǎn)),也能贏得研究人員們的一致認(rèn)可與好評(píng) 。正如加州大學(xué)洛杉磯分校(UCLA)Guy Van den Broeck教授所言,“我認(rèn)為比較準(zhǔn)確的比喻,就是某個(gè)盛產(chǎn)石油的國(guó)家能夠建造一座很高的摩天大樓 。在摩天大樓的建造過(guò)程中,當(dāng)然能夠幫國(guó)家積累下「最先進(jìn)的技術(shù)」 。
但這一切……無(wú)法帶來(lái)任何科學(xué)意義上的進(jìn)步 ?!蹦壳埃珹I研究議程領(lǐng)域這種“越大越好”的偏執(zhí)精神很可能在未來(lái)幾年給自然環(huán)境造成重大破壞 。這就要求我們?cè)谏钏际鞈]之后進(jìn)行大膽變革,將人工智能重新引導(dǎo)到持續(xù)性更強(qiáng)、生產(chǎn)力水平更高的正確軌道上 。展望未來(lái)首先,每一位AI從業(yè)者應(yīng)該盡快將“縮短周期”作為研究目標(biāo),借此降低技術(shù)發(fā)展對(duì)環(huán)境造成的影響 。
而最重要的第一步,就是增強(qiáng)AI模型碳排放問(wèn)題的透明度與量化考核 。當(dāng)AI研究人員發(fā)布新模型的研究結(jié)果時(shí),除了性能與精度兩項(xiàng)核心指標(biāo)之外,還應(yīng)該附上模型開(kāi)發(fā)過(guò)程中的總體能源數(shù)據(jù) 。經(jīng)過(guò)認(rèn)真分析,艾倫人工智能研究所的團(tuán)隊(duì)提出將浮點(diǎn)運(yùn)算作為研究人員們最通用也最準(zhǔn)確的能效衡量標(biāo)準(zhǔn) 。另一支小組也創(chuàng)建出一款機(jī)器學(xué)習(xí)碳排放計(jì)算器,可幫助從業(yè)者們借此估算當(dāng)前模型的碳足跡(其中涵蓋硬件、云服務(wù)供應(yīng)商以及地理區(qū)域等諸多因素) 。
遵循這些思路,研究人員們還需要在模型訓(xùn)練過(guò)程中,將能源成本與性能收益之間的關(guān)系作為不能回避的重要度量 。明確量化這項(xiàng)指標(biāo),將促使研究人員們重要收益遞減問(wèn)題,進(jìn)而在資源分配上做出更明智、更平衡的決策 。希望隨著可持續(xù)AI實(shí)踐的普及,技術(shù)社區(qū)能夠在評(píng)估AI研究時(shí)著重考慮這些效率指標(biāo),并把這些指標(biāo)的重要性提高到精度等傳統(tǒng)性能指標(biāo)的水平,最終使其在論文發(fā)表、演講分享以及學(xué)術(shù)成果等領(lǐng)域發(fā)揮更重要的作用 。
當(dāng)然,其他一些方法也有望在短期之內(nèi)幫助AI模型減少碳排放:使用更高效的超參數(shù)搜索方法、減少訓(xùn)練過(guò)程中不必要的實(shí)驗(yàn)次數(shù)、采用更節(jié)能的硬件等等 。但單靠這些補(bǔ)救性的措施,不足以徹底解決問(wèn)題 。人工智能領(lǐng)域需要在根本上做出長(zhǎng)期轉(zhuǎn)變 。我們需要退后一步,承認(rèn)單純建立越來(lái)越龐大的神經(jīng)網(wǎng)絡(luò)并不是通往廣義智能的正確路徑 。
【機(jī)器學(xué)習(xí)為什么需要訓(xùn)練,模型訓(xùn)練】從第一原理出發(fā),我們必須逼迫自己去發(fā)現(xiàn)更優(yōu)雅、更高效的方法,對(duì)機(jī)器中的智能進(jìn)行建模 。我們與氣候變化的斗爭(zhēng),甚至是整顆藍(lán)色星球的未來(lái),可能也都將維系于此 。引用AI界傳奇人物、深度學(xué)習(xí)教父Geoff Hinton的名言,“未來(lái)可能掌握的某些研究生手里,因?yàn)樗麄儗?duì)我所說(shuō)的一切深表懷疑……他們可能會(huì)徹底拋棄我的觀點(diǎn),從零開(kāi)始再次探索 。
”AI社區(qū)必須敢于建立人工智能的新范式,這些范式既不需要指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)集、也不需要恐怖的電力消耗 。小樣本學(xué)習(xí)等新興研究領(lǐng)域,也許會(huì)成為我們走向光明未來(lái)的新道路 。作為最初的智能來(lái)源,人腦也將給我們帶來(lái)重要啟發(fā) 。與目前的深度學(xué)習(xí)方法相比,我們的大腦非常高效 。人腦僅幾磅重,運(yùn)行功率約20瓦——只夠讓低功率燈泡亮起昏暗的光 。

推薦閱讀