不過，ChatGPT還遠(yuǎn)不完美 。因?yàn)檫@類人工智能對(duì)話機(jī)器人是通過消化互聯(lián)網(wǎng)上公開的大量數(shù)據(jù)來成長(zhǎng)的，所以，它們的知識(shí)結(jié)構(gòu)中同時(shí)有事實(shí)和虛構(gòu)的部分，傳遞的信息可能也會(huì)存在偏見、甚至仇恨言論等 。前述生物學(xué)家表示，ChatGPT“不禁逗”，一些問題回答錯(cuò)誤或者無法解答 。
《麻省理工科技評(píng)論》在去年11月末尖銳地指出，所有的大規(guī)模語言模型都在輸出“nonsense（愚蠢的話）”，ChatGPT看起來解決了一些問題，但遠(yuǎn)不是一個(gè)徹底的終結(jié) 。OpenAI的科學(xué)家約翰·舒爾曼也承認(rèn)，還有很多事情要做，“我們?cè)谶@個(gè)問題上取得了一些進(jìn)展，但還遠(yuǎn)未解決” 。
“從水下100米到馬里亞納海溝”
長(zhǎng)期以來，在AI領(lǐng)域，存在著一場(chǎng)曠日持久的爭(zhēng)論：基于深度學(xué)習(xí)和超強(qiáng)算力的大模型訓(xùn)練，是否是抵達(dá)通用人工智能的最終道路？在這方面，OpenAI無疑是一個(gè)堅(jiān)定的押注者 。
2018年6月，OpenAI發(fā)表論文《通過生成式預(yù)訓(xùn)練加強(qiáng)語言理解》，首次介紹了自己的語言模型GPT-1 。它在深度學(xué)習(xí)模型Transformer架構(gòu)上，使用了內(nèi)含幾十億個(gè)文本文檔的超大規(guī)模語言資料庫(kù)進(jìn)行訓(xùn)練，參數(shù)量為1.17億 。2019年2月，升級(jí)版GPT-2發(fā)布，模型參數(shù)達(dá)到15億，且訓(xùn)練模型的數(shù)據(jù)庫(kù)也更大；2020年，規(guī)模大百倍的GPT-3誕生 。
創(chuàng)新工場(chǎng)人工智能工程院執(zhí)行院長(zhǎng)王詠剛打了個(gè)比方，如果說傳統(tǒng)的機(jī)器學(xué)習(xí)或人工智能是在水下一米的深處探索，那么深度學(xué)習(xí)的出現(xiàn)將人們帶到了一百米的深水區(qū)；而在Transformer、GPT等架構(gòu)后，從業(yè)者們直接能抵達(dá)深度超過萬米的馬里亞納海溝 。
過去5年中，大規(guī)模預(yù)訓(xùn)練語言模型受到業(yè)內(nèi)越來越多的重視 。王帥指出，過去依靠人工標(biāo)注和精巧設(shè)計(jì)的訓(xùn)練方法，數(shù)據(jù)量大幅增加以后，表現(xiàn)并不好；相反，大家逐漸意識(shí)到，不斷擴(kuò)大模型規(guī)模、不斷用更多數(shù)據(jù)去訓(xùn)練模型，是提高算法能力非常有效的一個(gè)手段 。
“目前看起來，這種模型太有用了 。而且從ChatGPT的結(jié)果來看，超出了我們的預(yù)料 。”王帥說，可以認(rèn)為這種不斷增加規(guī)模的大模型已經(jīng)是領(lǐng)域的一種范式，可能人工智能領(lǐng)域未來有很多地方都可以用類似方法推進(jìn) 。
“今天，全世界的人工智能研究有很多方向，也產(chǎn)生了大量的成果 。但是嚴(yán)格來說，所有這些最令人驚艷的結(jié)果，90％以上是基于Transformer迭代來的這些大模型技術(shù)得到的 。”王詠剛也指出，目前幾乎所有的AI任務(wù)和項(xiàng)目，都會(huì)和大語言模型技術(shù)有關(guān)聯(lián)，它已經(jīng)代表了AI界最主流的科研和技術(shù)迭代方向 。
2022年7月，Alphabet旗下的DeepMind公司與歐洲生物信息研究所的團(tuán)隊(duì)合作公布了生物學(xué)領(lǐng)域的一項(xiàng)重大飛躍 。他們利用人工智能系統(tǒng)AlphaFold預(yù)測(cè)出超過100萬個(gè)物種的2.14億個(gè)蛋白質(zhì)結(jié)構(gòu)，幾乎涵蓋了地球上所有已知蛋白質(zhì) 。許多研究人員表示，這一系列突破將加速新藥開發(fā)，并為基礎(chǔ)科學(xué)帶來全新革命 。而Alphafold同樣是基于Transformer結(jié)構(gòu)的深度學(xué)習(xí)模型 。
OpenAI是一家非營(yíng)利性的研究機(jī)構(gòu)，于2015年成立，由特斯拉創(chuàng)始人馬斯克、創(chuàng)業(yè)孵化器Y Combinator總裁山姆·奧特曼、PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷大亨們創(chuàng)建，其愿景是實(shí)現(xiàn)安全的通用人工智能，并向公眾開放 。
多位受訪業(yè)內(nèi)人士指出，大規(guī)模語言模型并不是OpenAI的“獨(dú)門技術(shù)”；再加上人才和資金的雄厚，谷歌、微軟、百度等AI領(lǐng)域的巨頭公司并不是無法復(fù)制下一個(gè)ChatGPT 。實(shí)際上，ChatGPT誕生之前，硅谷巨頭們都意識(shí)到了大語言模型的重要性，比如，DeepMind也發(fā)布了人工智能聊天機(jī)器人Sparrow，F(xiàn)acebook母公司Meta也有自己的同類產(chǎn)品 。
推薦閱讀
- 掛春聯(lián),貼福字 貼上春聯(lián)、福字
- 烤箱烤薯?xiàng)l的方法 烤箱烤薯?xiàng)l做法
- 那個(gè)寫武俠的是以捕快做主人公的
- 寡年是什么意思 寡年的意思
- 電路板能用焊粉嗎
- 怎么讓頭發(fā)不炸起來
- win10系統(tǒng)小娜怎么關(guān)閉
- 能長(zhǎng)期放的冰糖雪梨罐頭的做法
- 衛(wèi)生間排風(fēng)扇清潔注意什么
- 蝙蝠兒童簡(jiǎn)筆畫 蝙蝠兒童簡(jiǎn)筆畫畫法