百度商業(yè)發(fā)布視頻生成模型MuseSteamer:一張圖即可生成10S電影級高清有聲視頻快訊
MuseSteamer 是全球首個實現(xiàn)中文音視頻一體化生成的視頻模型,及創(chuàng)作平臺,AI視頻創(chuàng)作大賽。
【TechWeb】7月2日消息,百度商業(yè)研發(fā)團隊發(fā)布自研視頻生成模型“MuseSteamer”及創(chuàng)作平臺“繪想”,MuseSteamer 是全球首個實現(xiàn)中文音視頻一體化生成的視頻模型。該技術(shù)可實現(xiàn)畫面與音效、人聲臺詞的協(xié)同創(chuàng)作,打破傳統(tǒng) AIGC 視頻“先畫面后配音”的割裂流程。

據(jù)悉,MuseSteamer 具備多項技術(shù)突破:在權(quán)威榜單 VBench I2V 中以 89.38% 總分登頂全球第一,支持一張圖生成10 秒 1080p 電影級畫質(zhì)視頻,人物微表情與運鏡效果達(dá)專業(yè)影視水準(zhǔn)。其核心能力源于億級中文多模態(tài)數(shù)據(jù)清洗、精細(xì)化視頻結(jié)構(gòu)化描述語言,以及多目標(biāo)強化學(xué)習(xí)等技術(shù)優(yōu)化。

MuseSteamer 模型家族包含 Turbo、Lite、Pro 及全系列有聲版,覆蓋從普通創(chuàng)作者到專業(yè)影視機構(gòu)的需求。其中 Turbo 版已上線繪想平臺開啟限時免費公測,其余版本將于8月陸續(xù)開放。平臺同步啟動“跨次元捏合”AI視頻創(chuàng)作大賽,用戶通過單圖輸入可生成動態(tài)捏捏樂視頻進行參賽。(宜月)
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范,任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源;
2.TMT觀察網(wǎng)的原創(chuàng)文章,請轉(zhuǎn)載時務(wù)必注明文章作者和"來源:TMT觀察網(wǎng)",不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任;
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補充。