離大譜??！不看視頻完整版誰(shuí)知道里面的美少女竟是一位大叔。

好嘛，原來(lái)這是用了快手可靈團(tuán)隊(duì)的可控人像視頻生成框架——LivePortrait。

LivePortrait開(kāi)源即爆火，短短時(shí)間已在GitHub狂攬7.5K星標(biāo)。

還引來(lái)HuggingFace首席戰(zhàn)略官Thomas Wolf親自體驗(yàn)：

甚至目前仍在HuggingFace全部應(yīng)用里排在趨勢(shì)第一：

所以，為啥LivePortrait能夠瘋狂引人關(guān)注?

還得從它讓人眼前一亮的表現(xiàn)說(shuō)起……

讓表情“移花接木”

LivePortrait由快手可靈大模型團(tuán)隊(duì)開(kāi)源，只需1張?jiān)瓐D就能生成動(dòng)態(tài)視頻。

先來(lái)看一組官方輸出。

從最簡(jiǎn)單的開(kāi)始，丟一張靜態(tài)圖像，LivePortrait可以讓肖像眨眼、微笑或轉(zhuǎn)頭。

還可以施展“移花接木”，也就是將表情、動(dòng)態(tài)等復(fù)制到其他人身上，還是不限風(fēng)格（寫(xiě)實(shí)、油畫(huà)、雕塑、3D渲染）和尺寸那種~

當(dāng)然了，這種“魔法”不限于單人，搞個(gè)全家福也不是不行。[doge]

除了從靜態(tài)圖→視頻，我們還可以讓一個(gè)或多個(gè)視頻實(shí)現(xiàn)“笑容增加術(shù)”。

比如提供一段寶寶沒(méi)有表情的視頻（最右側(cè)），我們可以讓寶寶按照參照視頻wink或微笑。

對(duì)了，不僅限于人物肖像，小貓小狗也能開(kāi)始撒嬌賣(mài)萌了。

總之，LivePortrait可以實(shí)現(xiàn)人物表情精確控制，比如嘴角上揚(yáng)的弧度，雙眼放大程度都能開(kāi)啟自選。

舉個(gè)栗子，下面這兩個(gè)是不同參數(shù)設(shè)置下，人物眼睛大小的變化：

看來(lái)小說(shuō)里的“三分涼薄,三分譏笑,四分漫不經(jīng)心”也不是不能實(shí)現(xiàn)。[doge]

看完這些不知道你有沒(méi)有心動(dòng)，反正網(wǎng)友們整活兒的心是擋不住了。

比如配個(gè)燈光花式扮鬼臉，有恐怖片那味兒了:

再比如實(shí)時(shí)化身二刺猿：

看完這些例子，接下來(lái)我們挖一挖背后的技術(shù)原理。

爆火開(kāi)源框架

和當(dāng)前主流基于擴(kuò)散模型的方法不同，LivePortrait探索和擴(kuò)展了基于隱式關(guān)鍵點(diǎn)的框架的潛力。

具體而言，LivePortrait不依賴于圖像中明確可見(jiàn)的標(biāo)記或特征點(diǎn)，而是通過(guò)學(xué)習(xí)數(shù)據(jù)集中的模式來(lái)隱式地推斷出關(guān)鍵點(diǎn)的位置。

在此基礎(chǔ)上，LivePortrait通過(guò)兩個(gè)階段從頭開(kāi)始訓(xùn)練模型。

先說(shuō)第一階段，LivePortrait對(duì)基于隱式點(diǎn)的框架（如Face Vid2vid），做了一系列改進(jìn)。

這些改進(jìn)包括高質(zhì)量數(shù)據(jù)整理、混合圖像和視頻訓(xùn)練、升級(jí)網(wǎng)絡(luò)架構(gòu)、可擴(kuò)展運(yùn)動(dòng)變換、地標(biāo)引導(dǎo)的隱式關(guān)鍵點(diǎn)優(yōu)化以及級(jí)聯(lián)損失項(xiàng)的應(yīng)用等。

有了這些，模型的泛化能力、表達(dá)能力和紋理質(zhì)量都能進(jìn)一步提升。

再說(shuō)第二階段，通過(guò)貼合模塊和重定向模塊的訓(xùn)練，模型能夠更精確地處理面部表情的細(xì)節(jié)。

貼合模塊通過(guò)跨身份動(dòng)作訓(xùn)練增強(qiáng)泛化性，估計(jì)表情變化并優(yōu)化關(guān)鍵點(diǎn)。

眼部和嘴部重定向模塊則分別處理眼部和嘴部的變形變化，通過(guò)獨(dú)立的目標(biāo)函數(shù)計(jì)算像素一致性和正則損失，提升模型在復(fù)雜表情處理上的靈活性和精確度。

那么，LivePortrait具體表現(xiàn)如何呢？

研究顯示，在同身份驅(qū)動(dòng)對(duì)比結(jié)果中，與已有方法相比，LivePortrait具有較好的生成質(zhì)量和驅(qū)動(dòng)精確度，可以捕捉驅(qū)動(dòng)幀的眼部和嘴部細(xì)微表情，同時(shí)保有參考圖片的紋理和身份。

且在跨身份驅(qū)動(dòng)對(duì)比結(jié)果中同樣表現(xiàn)較好，雖然在生成質(zhì)量上略弱于基于擴(kuò)散模型的方法AniPortrait。但與后者相比，LivePortrait具有極快的推理效率且需要較少的FLOPs。

總之，在RTX 4090 GPU上，LivePortrait的生成速度達(dá)到了每幀12.8毫秒，顯著高于現(xiàn)有的擴(kuò)散模型方法。

One More Thing

補(bǔ)一條官方最新預(yù)告：可靈AI即將在全球范圍內(nèi)推出其服務(wù)。

Sora還沒(méi)來(lái)，可靈這回倒是先走出去了~