欧美日韩国产一区二区|qovd片|小明个人发布看看|小浪货你夹真紧水又多|老头把我添高潮了A片故|99热久久精品国产一区二区|久久久春色AV

  1. 首頁 > 生活百科 > 科技 > >

深度學習|挑戰(zhàn)者Juia再出手，小型神經(jīng)網(wǎng)絡(luò)深度學習框架比PyTorch快5倍

深度學習Python

深度學習|挑戰(zhàn)者Juia再出手，小型神經(jīng)網(wǎng)絡(luò)深度學習框架比PyTorch快5倍

很早之前 ， 就有Juia取代Python的傳聞 。 雖然時至今日 ， 還未實現(xiàn) 。 不過先天具備科學計算特色的新型物種Juia編程語言 ， 的確在一步步進步 ， 逐步“蠶食”以往Python的領(lǐng)地 。 這次則是深度學習框架方面 。
雖然現(xiàn)在大多數(shù)人工智能深度學習框架都支持Python接口 ， 不過更具“正統(tǒng)血脈”的還是Torch ， 作為Python語言的PyTorch框架 ， 自從發(fā)布以來就廣為好評 ， 在學術(shù)領(lǐng)域已然超越了TensorFlow 。 而后來者Julia顯然也不示弱 ， 之前就有Flux.jl框架 ， 不過它身材苗條 ， 機智客覺得它只符合人類天性的喜好 ， 而并不具備挑戰(zhàn)者的魄力 。 于是現(xiàn)在 ， 又一個新框架SimpleChains.jl出現(xiàn)了 。 有關(guān)數(shù)據(jù)表示 ， 在小模型場景下 ， SimpleChains.jl相比PyTorch最少能提速5倍 。

沒錯 ， 是小模型的神經(jīng)網(wǎng)絡(luò)工作內(nèi) 。 很坦率地說 ， 定位于小型神經(jīng)網(wǎng)絡(luò)的SimpleChains.jl直面這個范圍領(lǐng)域的瓶頸和痛點 。 它很好解決了諸如小型網(wǎng)絡(luò)GPU內(nèi)核性能不及優(yōu)良設(shè)計的CPU內(nèi)核、操作Sigma時O（n）時間復雜度的內(nèi)存開銷嚴重問題等這類的優(yōu)化問題 ， 還能在CPU上快速擬合和優(yōu)化小模型 。
【深度學習|挑戰(zhàn)者Juia再出手，小型神經(jīng)網(wǎng)絡(luò)深度學習框架比PyTorch快5倍】出具的實驗過程是 ， 研究人員用一個2×2的矩陣做了一個實驗 ， 在帶有AVX512指令集的Intel i9-10980XE跑了一下 ， 1萬個epoch花了0.41秒 ， 相比之下pyTorch花了15秒 ， 也就是說在這種微型神經(jīng)網(wǎng)絡(luò)上 ， 提速大約35倍 。 而把實驗換到AMD EPYC 7513 帶有AVX2指令的機器上 ， Julia的實現(xiàn)花費時間為0.72秒 ， 而PyTorch的實現(xiàn)則需要70秒 ， 差距拉升到了100倍 。
目前SimpleChains.jl的版本是V0.2.2 。 正因為這個深度學習框架對小型神經(jīng)網(wǎng)絡(luò)更友好 ， 因此它的定位也很明確 ， 開發(fā)人員說得明白 ， 這個框架不會對所有人都有用 ， 但對那些需要它的人來說 ， 它是非常有用的 。 也許 ， 在工業(yè)生產(chǎn)力級別的大型深度學習神經(jīng)網(wǎng)絡(luò)上 ， Julia還無法和Python相比 ， 畢竟后者已經(jīng)有太多接口和庫了 ， 占盡先天優(yōu)勢 。 Julia還要假以時日繼續(xù)努力吧 。

    相關(guān)經(jīng)驗推薦