1. 首頁 > 云知道 > >

經典小樣本GNN模型,小樣本學習

云知道

為什么機器學習模型會消耗那么多能源？

經典小樣本GNN模型,小樣本學習


人腦是一種效率極高的智能來源，但目前的AI還達不到這樣的水平 。本月早些時候，OpenAI宣布已經構建起有史以來規模最大的AI模型 。這套驚人的模型名為GPT-3，已經成為令人印象深刻的偉大技術成就 。但在這輝煌的背后，也凸顯出人工智能領域一種令人擔憂的負面趨勢——更可怕的是，主流輿論對此尚未給予足夠的關注 。
現代AI模型需要消耗大量電力，而且對電力的需求正以驚人的速度增長 。在深度學習時代，構建一流AI模型所需要的計算資源平均每3.4個月翻一番；換句話說，從2012年到2018年間，AI計算資源消耗量增長了30萬倍 。而GPT-3，只是這股潮流的最新體現 ?？偠灾?，AI技術帶來的碳排放已經不容忽視；如果行業趨勢繼續下去，那么情況將很快失去控制 。
【經典小樣本GNN模型,小樣本學習】除非我們愿意重新評估并改革當今的AI研究議程，否則人工智能領域很可能在不久的未來成為引發氣候變化的罪魁禍首 。更大并不一定更好在當今以深度學習為中心的研究范式當中，人工智能的主要進步主要依賴于模型的規?；瘮U展：數據集更大、模型更大、計算資源更大 。GPT-3就很好地說明了這種現象 。這套模型中包含多達1750億個參數 。
為了幫助大家更直觀地理解這個數字，其前身GPT-2模型（在去年發布時，同樣創下了體量層面的紀錄）只有15億個參數 。去年的GPT-2在擁有千萬億次算力的設備上訓練了幾十天；相比之下，GPT-3的訓練時長將增長至數千天 。這種靠“每況愈大”模型推動AI技術進步的問題在于，這類模型的構建與部署都需要消耗大量能源，并由此產生巨量碳排放 。
在2019年的一項廣泛研究當中，由Emma Strubell牽頭的一組研究人員估計，訓練一套深度學習模型可能產生高達62萬6155磅的二氧化碳排放量——大約相當于五輛汽車從出廠到報廢的總二氧化碳排放規模 。如果這還不夠直觀，那么每個美國人每年平均產生3萬6156磅二氧化碳排放量 ?？梢钥隙ǖ氖?，這項估算主要針對那些高度依賴于能源的模型 。
畢竟結合當前現實，機器學習模型的平均訓練過程絕不至于產生60多萬磅二氧化碳 。同樣值得注意的是，在進行這項分析時，GPT-2仍然是研究領域規模最大的模型，研究人員也將其視為深度學習模型的極限 。但僅僅一年之后，GPT-2就成了“纖細瘦小”的代名詞，下代模型的體量超過其百倍 。為什么機器學習模型會消耗那么多能源？最重要的原因，就是訓練這些模型的數據集本身也在快速增肥 。
在使用包含30億個單詞的數據集進行訓練之后，BERT模型在2018年實現了同類最佳的自然語言處理（NLP）性能 。而在利用包含320億個單詞的訓練集完成訓練之后，XLNet又超越了BERT 。不久之后，GPT-2開始在包含400億個單詞的數據集上接受訓練 。最終是我們前面提到的GPT-3，它使用的是一套包含約5000億個單詞的加權數據集 。
在訓練過程中，神經網絡需要為每一條數據執行一整套冗長的數學運算（正向傳播與反向傳播），并以復雜的方式更新模型參數 。因此，數據集規模越大，與之對應的算力與能源需求也在飛速增長 。導致AI模型大量消耗能源的另一個理由，在于模型開發過程中所需要的大量實驗與調整 。目前，機器學習在很大程度上仍是一個反復實驗試錯的流程 。
從業人員通常會在訓練過程中為當前模型構建數百個版本，并通過不斷嘗試各類神經架構與超參數確定最佳設計方案 。之前提到的2019年論文中還包含一項案例研究，研究人員們選擇了一個體量適中的模型（顯然要比GPT-3這樣的龐然大物小得多），并對訓練其最終版本所需要的電力、以及生產最終版本所需要的試運行總量進行了統計 。

推薦閱讀