1. 首頁 > 云知道 > >

AI進化必須修復“注意力Bug”

小知識機器學習科普注意力約書亞紀榮嶸


AI進化必須修復“注意力Bug”



在未經充分訓練的情況下， 讓AI關注人是容易的， 但關注某個特定的人是困難的 。
在美劇《西部世界》中， AI主人公覺醒， 并意識到這個世界是人類殺伐決斷的樂園， 于是開啟了反抗之路；電影《黑客帝國》中， AI將人類豢養起來， 控制了整個世界……那么在科幻世界中擁有了意識的AI， 在未來生活中能否實現？
日前， 在2020年國際學習表征會議（ICLR）上， 圖靈獎得主、蒙特利爾學習算法研究所主任約書亞·本吉奧（Yoshua Bengio）對AI的未來提供了最新見解 。 他認為未來機器學習完全有可能超越無意識， 向全意識邁進 。 而注意力機制正是實現這一過程的關鍵要素 。
人類的注意力機制和人工智能的注意力機制是否一樣？現在應用于人工智能的注意力機制還要解決哪些bug， 才能讓AI真正具備注意力？就此， 科技日報采訪人員采訪了有關專家 。
目的在于減少對無用線索的關注
什么是注意力機制？“注意力機制來源于人類的視覺注意力， 即人類在進化過程中形成的一種處理視覺信息的機制 。 ”中國科學院自動化研究所研究員張兆翔說 。
張兆翔解釋， 人類視覺系統以大約每秒8.96兆比特的速度接收外部視覺信息， 雖然人腦的計算能力和存儲能力都非常有限， 但卻能有效的從紛繁蕪雜的外部世界中有選擇地處理重要的內容， 在這個過程中選擇性視覺注意發揮了重要的作用 。 如我們在看一個畫面時， 會有一處特別顯眼的場景率先吸引我們的注意力， 這是因為大腦對這類東西很敏感 。
視覺注意機制的理論研究自20世紀80年代以來一直是神經科學和認知科學的熱點研究問題， 目前研究者們一般按照兩類標準對注意機制進行分類 。 “從注意產生的方向劃分為：自下而上數據驅動的注意、自上而下任務驅動的注意、兩者結合共同產生的注意；從關注的對象劃分為：基于空間的注意、基于特征的注意、基于對象的注意 。 ”中國科學院自動化研究所副研究員王威介紹說 。
“而對于人工智能來說， 注意力機制是機器學習中的一種數據處理方法， 廣泛應用在自然語言處理、圖像識別及語音識別等各種不同類型的機器學習任務中， 其主要功能是減少對無用線索的關注 。 ”福州大學數學與計算機科學學院、福建省新媒體行業技術開發基地副主任柯逍博士說 。
廈門大學科技處副處長、人工智能系教授紀榮嶸認為， 從本質上說， 注意力機制是一個特征信息評估和篩選的過程 。
一般認為， 深度學習中的注意力機制最早是約書亞·本吉奧等人在2014年提出的軟注意力機制 。 基于約書亞·本吉奧的這套理論后續又發展出了多步注意力機制、跨模態交互注意力以及時下非常火熱的Transformer網絡中的自注意力機制 。
“目前研究的AI注意力機制各有各的特點， 但總的來說就是構建輸入與輸出， 或者構建輸入數據在不同層面上的關聯關系， 從而達到重點突出部分區域或者數據間的部分關系， 提升任務性能 。 ”張兆翔說 。
未經訓練難以注意新鮮事物
最近幾年， 注意力機制已被應用到了人工智能的許多細分領域中 。 “人工智能是可以被設計出不同程度的注意力的 。 當需要不同程度的注意力時， 我們可以設計多個注意力網絡 。 ”柯逍說 。
據了解， 從2016年開始， 谷歌的翻譯系統就已經使用了注意力機制來提升翻譯質量 。 在文本問答、對話系統、知識圖譜抽取等自然語言處理任務中， 注意力機制基本成為了模型標配 。 在計算機視覺中， 注意力機制的使用也成為了一種趨勢， 包括細粒度檢索、圖像分類、行人重識別等在內的多個研究任務中都有使用注意力機制的視覺模型 。

推薦閱讀