Sora文生視頻火爆出圈!清華大學公布文生視頻專利
來源:快科技 編輯:非小米 時間:2024-02-20 21:33人閱讀
快科技2月20日消息,2月16日,OpenAI發(fā)布其首款文生視頻大模型Sora。
Sora可根據(jù)文字提示生成60秒視頻,輸出視頻堪比影視CG,一經(jīng)發(fā)布火爆出圈。
據(jù)國家知識產(chǎn)權局網(wǎng)站顯示,2月2日,清華大學申請的“一種定制化多主體文生視頻方法、裝置、設備及介質”專利公布。
專利摘要顯示,該申請?zhí)峁┮环N定制化多主體文生視頻方法、裝置、設備及介質,涉及神經(jīng)網(wǎng)絡技術領域。
申請包括:獲取多個主體分別對應的主體文本表述以及主體圖像;基于多個主體分別對應的主體文本表述以及主體圖像,獲取混合文本以及組合圖像。
將混合文本以及組合圖像輸入文生視頻模型,生成第二噪聲預測值,并基于第二噪聲預測值與組合圖像,獲取第二損失和第三損失;基于第一損失、第二損失與第三損失,對文生視頻模型進行優(yōu)化,得到優(yōu)化的文生視頻模型。
該申請通過多種損失對文生視頻模型的參數(shù)進行優(yōu)化,使優(yōu)化的模型基于文本描述生成視頻中的圖像時,文本描述與定制化主體保持一致,且在每個主體在生成過程中的特征不會發(fā)生混淆的同時消除合成痕跡。
分享到:
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com