經典小樣本GNN模型,小樣本學習( 三 )


在眾所周知的基準測試中拿下新頂點的模型(即使僅提升一個百分點),也能贏得研究人員們的一致認可與好評 。正如加州大學洛杉磯分校(UCLA)Guy Van den Broeck教授所言,“我認為比較準確的比喻,就是某個盛產石油的國家能夠建造一座很高的摩天大樓 。在摩天大樓的建造過程中,當然能夠幫國家積累下「最先進的技術」 。
但這一切……無法帶來任何科學意義上的進步 。”目前,AI研究議程領域這種“越大越好”的偏執精神很可能在未來幾年給自然環境造成重大破壞 。這就要求我們在深思熟慮之后進行大膽變革,將人工智能重新引導到持續性更強、生產力水平更高的正確軌道上 。展望未來首先,每一位AI從業者應該盡快將“縮短周期”作為研究目標,借此降低技術發展對環境造成的影響 。
而最重要的第一步,就是增強AI模型碳排放問題的透明度與量化考核 。當AI研究人員發布新模型的研究結果時,除了性能與精度兩項核心指標之外,還應該附上模型開發過程中的總體能源數據 。經過認真分析,艾倫人工智能研究所的團隊提出將浮點運算作為研究人員們最通用也最準確的能效衡量標準 。另一支小組也創建出一款機器學習碳排放計算器,可幫助從業者們借此估算當前模型的碳足跡(其中涵蓋硬件、云服務供應商以及地理區域等諸多因素) 。
遵循這些思路,研究人員們還需要在模型訓練過程中,將能源成本與性能收益之間的關系作為不能回避的重要度量 。明確量化這項指標,將促使研究人員們重要收益遞減問題,進而在資源分配上做出更明智、更平衡的決策 。希望隨著可持續AI實踐的普及,技術社區能夠在評估AI研究時著重考慮這些效率指標,并把這些指標的重要性提高到精度等傳統性能指標的水平,最終使其在論文發表、演講分享以及學術成果等領域發揮更重要的作用 。
當然,其他一些方法也有望在短期之內幫助AI模型減少碳排放:使用更高效的超參數搜索方法、減少訓練過程中不必要的實驗次數、采用更節能的硬件等等 。但單靠這些補救性的措施,不足以徹底解決問題 。人工智能領域需要在根本上做出長期轉變 。我們需要退后一步,承認單純建立越來越龐大的神經網絡并不是通往廣義智能的正確路徑 。
從第一原理出發,我們必須逼迫自己去發現更優雅、更高效的方法,對機器中的智能進行建模 。我們與氣候變化的斗爭,甚至是整顆藍色星球的未來,可能也都將維系于此 。引用AI界傳奇人物、深度學習教父Geoff Hinton的名言,“未來可能掌握的某些研究生手里,因為他們對我所說的一切深表懷疑……他們可能會徹底拋棄我的觀點,從零開始再次探索 。
”AI社區必須敢于建立人工智能的新范式,這些范式既不需要指數級增長的數據集、也不需要恐怖的電力消耗 。小樣本學習等新興研究領域,也許會成為我們走向光明未來的新道路 。作為最初的智能來源,人腦也將給我們帶來重要啟發 。與目前的深度學習方法相比,我們的大腦非常高效 。人腦僅幾磅重,運行功率約20瓦——只夠讓低功率燈泡亮起昏暗的光 。

推薦閱讀