人形機(jī)器人跳舞復(fù)刻杰克遜，竟一點(diǎn)不遜色？？

這究竟是怎么回事？

原來啊，阿里又整出新活兒——

MotionShop，能將視頻中的人物角色替換成3D形象，同時(shí)又不改變其他場景和人物。

看到這有人已經(jīng)迫不及待了。目前已在ModelScope社區(qū)開放試玩。

還有人建議說在HuggingFace也安排一下，不然不懂中文的人怎么辦啊~

不過確實(shí)承認(rèn)，最近阿里的花活好多。

可免費(fèi)試玩

目前MotionShop可以免費(fèi)試玩，只需三步即可完成：

上傳視頻——確定目標(biāo)對象——選擇要替換的虛擬對象。

不過實(shí)測的時(shí)候發(fā)現(xiàn)，需要注意幾點(diǎn)。

首先上傳這個(gè)視頻，不能超過15秒，最好保證人物完整，而且也不能是剪輯而成。

換句話說，需要一鏡到底，切換鏡頭就不行。

隨后選擇替換人物時(shí)，它會(huì)自動(dòng)選擇一個(gè)對象，然后看是否符合你的目標(biāo)對象。

目前可替換的虛擬形象只有四個(gè)。

最后就是比較漫長的排隊(duì)等待時(shí)間……試用的人太多了吧。

如何實(shí)現(xiàn)？

來自阿里的研究團(tuán)隊(duì)提出了用3D人物替換視頻中角色的框架。

整個(gè)框架由兩部分組成：

1、用于提取修復(fù)背景視頻序列的視頻處理管線；

2、用于生成3D人物視頻的序列的姿態(tài)估計(jì)和渲染管線。

通過并行兩條管線并使用高性能的光線追蹤渲染器TIDE，整個(gè)過程能在

具體分為七個(gè)步驟。

第一步，角色檢測。使用基于Transformer融合文本信息與現(xiàn)有封閉集檢測器，實(shí)現(xiàn)零樣本對象檢測。通過優(yōu)勢選擇方法確定最終目標(biāo)區(qū)域。

第二步，分割與追蹤。成功檢測到目標(biāo)后，通過視頻對象分割跟蹤方法來像素級跟蹤目標(biāo)區(qū)域，這一方法是基于SAM模型的細(xì)化升級。

第三步，修補(bǔ)。視頻剩下區(qū)域進(jìn)行修補(bǔ)繪制。包括采用了遞歸流完成法來恢復(fù)損壞的流場，在圖像域和特征域都采用了雙域傳播法來增強(qiáng)全局和局部的時(shí)間一致性。

第四步，姿態(tài)估計(jì)。采用姿態(tài)估計(jì)方法 CVFFS 來估計(jì)穩(wěn)定的人體姿態(tài)。使用 SMPL 人體模型來表示三維人體。

第五步，3D人物生成。將估算出的形狀和姿勢重新映射到選定的三維模型上。

第六步，為了更自然真實(shí)的視覺效果，做進(jìn)一步光線處理和渲染，讓3D模型與原視頻更融入。比如使用TIDE引擎來渲染新的 3D 模型。它與精確的材質(zhì)系統(tǒng)相結(jié)合，并輔以運(yùn)動(dòng)模糊、時(shí)間抗鋸齒和時(shí)間去噪等算法。

最后，將渲染圖像與原始視頻合成，生成最終視頻。