例如， ELMo通過整合更多的上下文， 以句子的規(guī)模來看待語言， 而不是詞匯， 從而改進了單詞的嵌入 。 這種額外的上下文使模型能夠很好地解析“May”作為“五月”和動詞之間的區(qū)別， 也意味著它學(xué)習(xí)了語法 。 ELMo通過理解單詞的子單元， 如前綴和后綴， 來獲得額外的提升 。 像彼得斯的團隊所做的那樣， 為神經(jīng)網(wǎng)絡(luò)提供十億個單詞， 而這種方法是非常有效的 。
目前還不清楚的是， 在分析所有這些詞的過程中， 這個模型到底學(xué)到了什么 。 由于深度神經(jīng)網(wǎng)絡(luò)的工作方式不透明， 所以要回答這個問題十分棘手 。 研究人員仍然對圖像識別系統(tǒng)工作如此出色的原因有一個模糊的理解 。 在10月份的一次會議上， 彼得斯采用了一種經(jīng)驗主義的方法， 在不同的軟件設(shè)計和不同的語言任務(wù)中試驗了ELMo 。 彼得斯說：“我們發(fā)現(xiàn)這些模型學(xué)習(xí)了語言的基本屬性 。 ”但他警告說， 其他研究人員將需要測試ELMo， 以確定該模型在不同任務(wù)中的穩(wěn)健程度， 以及它可能包含的隱藏意外情況 。
【AI可以識別圖像 但它能理解標題嗎？】一種風(fēng)險是：用于訓(xùn)練它們的數(shù)據(jù)出現(xiàn)了編碼偏差， 因而醫(yī)生被貼上男性的標簽， 而護士則是女性， 就像之前的文字嵌入一樣 。 克萊因說， 雖然通過點擊ELMo和其他模型產(chǎn)生的最初結(jié)果令人興奮， 但目前還不清楚這些結(jié)果可以被推進到什么程度， 也許是通過使用更多的數(shù)據(jù)來訓(xùn)練模型， 或者增加一些限制， 迫使神經(jīng)網(wǎng)絡(luò)更有效地學(xué)習(xí) 。 從長遠來看， 的要讓人工智能像我們這樣流暢地閱讀和交談， 可能需要一種全新的方法 。
推薦閱讀
- 兩個月的小狗可以洗澡嗎
- 小奶貓可以吃火腿腸嗎
- 刺猬可以洗澡么
- 倉鼠可以吃桃子嗎
- 慢跑完多長時間可以吃飯 跑步后多久可以吃飯
- 銀行卡掉了當天可以補辦嗎 補辦銀行卡要多久
- 現(xiàn)在裝修一般幾個月就能住了 房子裝修好后多久可以入住
- 圖像低通濾波作用 圖像濾波的作用研究的意義是什么
- 狗可以喝酒嗎
- 怎么訓(xùn)練狗叫