騰訊混元發布并開源圖生視頻模型 上線對口型與動作驅動等玩法快訊
導讀
騰訊混元發布圖生視頻模型并對外開源,是混元文生視頻模型開源工作的延續,此次開源的圖生視頻模型。
【TechWeb】3月7日消息,據騰訊混元官方公眾號消息,騰訊混元發布圖生視頻模型并對外開源,同時上線對口型與動作驅動等玩法,并支持生成背景音效及2K高質量視頻。
根據官方介紹,基于圖生視頻的能力,用戶只需上傳一張圖片,并簡短描述希望畫面如何運動、鏡頭如何調度等,混元即可按要求讓圖片動起來,變成5秒的短視頻,還能自動配上背景音效。
此外,上傳一張人物圖片,并輸入希望“對口型”的文字或音頻,圖片中的人物即可“說話”或“唱歌”;使用“動作驅動”能力,還能一鍵生成同款跳舞視頻。
目前用戶可以通過混元AI視頻官網體驗,企業和開發者可在騰訊云申請使用API接口使用。
此次開源的圖生視頻模型,是混元文生視頻模型開源工作的延續,模型總參數量保持 130 億,模型適用于多種類型的角色和場景,包括寫實視頻制作、動漫角色甚至CGI角色制作的生成。
開源內容包含權重、推理代碼和LoRA訓練代碼,支持開發者基于混元訓練專屬LoRA等衍生模型。目前可以在Github、HuggingFace等主流開發者社區下載體驗。(周小白)
1.TMT觀察網遵循行業規范,任何轉載的稿件都會明確標注作者和來源;
2.TMT觀察網的原創文章,請轉載時務必注明文章作者和"來源:TMT觀察網",不尊重原創的行為TMT觀察網或將追究責任;
3.作者投稿可能會經TMT觀察網編輯修改或補充。