豆包這玩意誰(shuí)研究的呢，這視頻模型真有點(diǎn)攢勁
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
有一說(shuō)一 ， 哥們是真不知道這個(gè)月什么情況 。
這些個(gè)廠商們就像扎堆看了同一本黃歷一樣 ， 都趕著這個(gè)月搞事情 。
12 號(hào)好幾家連著開(kāi)發(fā)布會(huì)咱就不多說(shuō)了 ， 上周又是參加了一堆大會(huì) ， 看了各種大模型紛紛上新 ， 給哥們都逛累了 。
結(jié)果到了今天 ， 您猜怎么著 ， 字節(jié)又官宣了他家的新 AI， 也就是他家豆包這次支持可以視頻生成了 ， 而且效果極其強(qiáng)橫 。
也就是說(shuō) ， 憋了這么久 ， 這個(gè)月底出場(chǎng)的字節(jié)開(kāi)始上菜了 ， 而且一來(lái)就是硬菜 。
口說(shuō)無(wú)憑 ， 直接來(lái)給大家看效果：
比如這個(gè)官方演示的 “ 紅塵做伴活的瀟瀟灑灑 ” 場(chǎng)景 ， 這視頻里多人、復(fù)雜表情的表現(xiàn)力可以說(shuō)相當(dāng)自然了 ， 雖然是馬丁老爺子的老粉絲 ， 我也只能說(shuō)這段權(quán)游味是相當(dāng)重 。
也就是這玩意只有 10 秒而且慢的一匹 ， 不然真就給它騙過(guò)去當(dāng)成影視片段了 。
還有這段 ， 騎火箭的男人沖向世界最高城禮堂引發(fā)大爆炸 ， 這段分鏡 ， 前后鏡頭的畫風(fēng)一致性都很連貫；中間那個(gè)男人緊閉雙眼緊張赴死的鏡頭也特靈魂 ， 畫面感拉滿了 。。。
不過(guò)這玩意你要光看官方視頻吧 ， 好像感受不到它特別牛的地方 ， 有時(shí)候這些AI的宣傳資料就跟方便面外包裝一樣 ， 看上去是一回事 ， 拆開(kāi)以后又是另一回事 。
而且視頻生成這個(gè)上面 ，p 圖微調(diào)的事也不是沒(méi)有過(guò) ， 還有的視頻大模型光放宣傳片 ， 到現(xiàn)在也不讓大家上手用 ， 跟扇貝似的都玩成期貨了 。
所以盡管看完這些演示視頻以后 ， 我們覺(jué)得豆包可能真有兩下子 ， 但到底貨對(duì)不對(duì)板 ， 咱還是得上手試一試才知道 。
這不 ， 那邊發(fā)布會(huì)一結(jié)束 ， 世超第一時(shí)間就薅來(lái)了這個(gè) PixelDance（像素跳動(dòng)）模型的內(nèi)測(cè) ， 先安排上咱們 AI 測(cè)評(píng)的傳統(tǒng)保留項(xiàng)目 ， 有請(qǐng)我司老員工火鍋給大伙兒亮個(gè)相 。
喂給模型一張火鍋的照片 ， 再輸入提示詞 “ 狗狗站起 ， 叼起身邊的娃娃離開(kāi)畫面 ”。
按照我們以往用火鍋測(cè)評(píng)一些視頻模型的經(jīng)驗(yàn) ， 不出 2 秒 ， 鍋哥的身體和臉就會(huì)開(kāi)始變形 ， 之前甚至還有過(guò)把火鍋?zhàn)兂衫祭嗟陌咐?。。
但你猜怎么著？
這次的視頻 ， 幾乎沒(méi)有出現(xiàn)太多畫面抖動(dòng)、掉幀和閃爍變形的情況 。
火鍋起身的動(dòng)作一氣呵成 ， 仔細(xì)看它把兔子玩偶拽過(guò)來(lái)的瞬間 ， 玩偶耳朵的抖動(dòng) ， 腳往下踩的時(shí)候墊子上的凹陷 ， 這些細(xì)節(jié)大伙兒品品 ， 火鍋來(lái)了都得直呼：穩(wěn)啊老哥！
如果不是后面幾秒火鍋的毛發(fā)紋理露出了破綻 ， 這視頻能打個(gè) 9 分吧 。
接著 ， 我們又試了讓不少視頻生成模型屢戰(zhàn)屢敗的光影效果 。
提示詞 “ 摩托車飛速行駛在道路上 ， 街景迅速后退 ”
街景變化流暢 ， 光線的明暗變化也沒(méi)啥違和感 ， 特別是大樓燈光和地板上的倒影都一一對(duì)應(yīng)上了 。
非要挑毛病的話 ， 就是從對(duì)向開(kāi)過(guò)來(lái)的車 ， 畫面沒(méi)太控制好 。
再整個(gè)經(jīng)典的吃播 ， 這回的提示詞是 “ 正對(duì)鏡頭的男人張嘴吃下筷子上的食物 ”。 描述相對(duì)比較精確 ， 基本就是讓模型指哪打哪 。
而 PixelDance 模型也確實(shí)沒(méi)讓我們失望 ， 拿筷子的動(dòng)作很熟練 ， 食物是真吃進(jìn)了嘴里 ， 面部也沒(méi)有因?yàn)榫捉赖膭?dòng)作而變形 。 即使提示詞里沒(méi)有 cue 到后面的一群人 ， 但模型還是讓大伙兒都動(dòng)了起來(lái) 。
就是吧 ， 這嚼東西的動(dòng)作是不是有點(diǎn)忒刻意了 。。。
其實(shí)測(cè)到這里 ， 我們對(duì) PixelDance 模型的水平已經(jīng)有點(diǎn)底了 。 但為了讓測(cè)試更全面些 ， 咱還是多試幾次 。
來(lái)看這張世超隨手拍下的晚霞 ， 提示詞是 “ 遠(yuǎn)處的天空 ， 飛來(lái)一條黑色的龍 ， 距離鏡頭越來(lái)越近 ”， 稍微復(fù)雜了那么一丟丟 。
后面的天空、一排房子、往鏡頭飛來(lái)的黑龍 ， 要素基本齊全 ， 鏡頭還會(huì)慢慢仰拍跟隨 。
不過(guò)原本照片左下角應(yīng)該是橋邊的柵欄 ， 不知道是不是因?yàn)樘?， 導(dǎo)致模型沒(méi)識(shí)別出來(lái) ， 小小變形了一下 。
還有這個(gè)編輯部同事下班整點(diǎn)小麥果汁的視頻 ， 最讓世超震驚的 ， 就是杯子里 8+1 的效果 。
因?yàn)榕霰瓕?dǎo)致的晃動(dòng)、還有手部動(dòng)作讓液體往右邊傾斜 ， 好家伙 ， 哥們好像真找到一個(gè)理解物理規(guī)律的模型了 。。
而且手臂的屈伸、關(guān)節(jié)的活動(dòng) ， 似乎也是符合人體生理構(gòu)造的 。
不過(guò)瑕疵也不是沒(méi)有 ， 比如手里的酒喝著喝著 ， 突然就喂到了隔壁同事嘴里 ， 桌面的杯墊不知道咋回事就變成一張紙了 。
相信看到這 ， 大伙兒心里對(duì)豆包這個(gè) PixelDance 模型已經(jīng)有了基本的評(píng)判 。
雖說(shuō)還達(dá)不到炸裂的程度 ， 但也肯定算得上是第一梯隊(duì)了 ， 而且 PixelDance 模型在畫面穩(wěn)定性、一致性上 ， 也確實(shí)堪稱獨(dú)步 。
不過(guò)對(duì)世超來(lái)說(shuō) ， 其實(shí)并不是非常出乎意料 。
主要其實(shí)不僅是我們 ， 很多人對(duì)豆包在視頻能力上的預(yù)期都挺高的 。
雖然慢了一丟丟 ， 但背靠視頻行業(yè)出身的抖音 ， 再加上對(duì)基礎(chǔ)大模型的投入 ， 豆包想依靠這些優(yōu)勢(shì)來(lái)追迎頭趕上 ， 實(shí)際也是符合大家認(rèn)知的 。
換句話說(shuō) ， 豆包做出這個(gè)本身就意料之中 ， 更別說(shuō)人家掏出來(lái)的東西還明顯是第一檔 。
不過(guò)嘛 ， 字節(jié)在這個(gè)時(shí)候掏出豆包視頻模型 ， 其實(shí)挺及時(shí)的 ， 剛好踩在視頻大模型發(fā)展的節(jié)點(diǎn)上 。
光是今年 ，6 月份即夢(mèng) AI 就在 AIGC 短劇《 三星堆：未來(lái)啟示錄 》中亮相了 ，7 月 13 日快手也上線了 AIGC 短劇《 山海奇鏡 》；
而在影視圈 ，AI 制作的聲量也被喊的越來(lái)越響 ， 前有 AI 還原 27 歲成龍的《 傳說(shuō) 》 ， 后有暑期檔的漫改電影《 異人之下 》 ， 這也意味著視頻生成大模型和影視行業(yè)某種意義上算雙向奔赴 。
東吳證券測(cè)算 ， 國(guó)內(nèi) AI 視頻潛在的行業(yè)空間可能達(dá)到 5800 億元人民幣以上 ， 而在全 AI 模式下 ， 影視劇的制作成本相較于傳統(tǒng)模式 ， 成本能降低超過(guò) 95%。
但這種趨勢(shì)也會(huì)帶來(lái)新的問(wèn)題 ， 比如模型訓(xùn)練需要的素材得更真實(shí) ， 那這些視頻素材可能會(huì)有版權(quán)和隱私安全的問(wèn)題 。
另一方面 ， 影視級(jí)視頻生成模型也需要 AI 廠商本身有影視相關(guān)的經(jīng)驗(yàn) ， 比如這次的豆包 ， 就綜合了剪映等專業(yè)剪輯和調(diào)色軟件的經(jīng)驗(yàn) ， 來(lái)做出更接近影視的光影、色彩效果 。
其他視頻生成模型如果要在這方面繼續(xù)進(jìn)步 ， 可能也需要和影視行業(yè)聯(lián)系更加緊密才行 。
總之 ， 豆包這波交出的卷子值得一個(gè)高分 ， 但對(duì)于視頻模型來(lái)說(shuō)這還遠(yuǎn)遠(yuǎn)不是終點(diǎn) ， 期待國(guó)產(chǎn)大模型接下來(lái)的表現(xiàn) 。
順便 ，Sora 怎么還不出來(lái)吱個(gè)聲?。 吭儼桓沒(méi)蘋ú碩家沽?。
【豆包這玩意誰(shuí)研究的呢，這視頻模型真有點(diǎn)攢勁】
推薦閱讀
- 24GB+1TB 滿血性能，這可能會(huì)是今年最猛的手機(jī)
- 2024買手機(jī)不要瞎買，這四款才是低價(jià)高配，有旗艦的體驗(yàn)感
- 這下放心沖了嗎？極氪高管：極氪7X所有硬件一年之內(nèi)無(wú)升級(jí)計(jì)劃
- iOS18.1Beta5新測(cè)試版推出，新增這幾個(gè)改動(dòng)
- 中美都沒(méi)有料到，這次黎巴嫩的兩連炸，獲益最大的是中國(guó)
- 一降再降，這3款性能手機(jī)價(jià)格跌落“谷底”，配置強(qiáng)悍夠用5年
- 紅米iqoo榮耀全都有，價(jià)格良心配置高，懂行人都推薦這三款
- 這家工廠在給大疆大規(guī)模代工電源，大疆無(wú)人機(jī)86W電源適配器拆解
- 旗艦機(jī)大幅降價(jià)，目前這三款降到新低，等待黨的福利
- 一加13新機(jī)配置真是絕了：這種方案極為罕見(jiàn)！