摘要：最近，這就是街舞第二季開播，又一次燃起了全民熱舞的風(fēng)潮。然而，真要自己跳起來，實際與想象之間，估計差了若干個羅志祥。系統(tǒng)映射結(jié)果展示對于系統(tǒng)的結(jié)果，研究人員表示還不完美。谷歌在和跳舞的結(jié)合上也花了心思。好了，先不說了，我要去跟學(xué)跳舞了。

最近，《這！就是街舞》第二季開播，又一次燃起了全民熱舞的風(fēng)潮。

剛開播沒多久，這個全程高能的節(jié)目，就在豆瓣上就得到了 9.6 的高分。舞者們在比賽中精彩的表演，讓屏幕前的吃瓜群眾直呼「太燃了！」「驚艷！」，甚至情不自禁跟著音樂抖起來了。

然而，真要自己跳起來，實際與想象之間，估計差了若干個羅志祥。想象中，自己是這樣的：

但實際上卻是這樣的：

對于舞者來說，他們的動作叫做 Hiphop，Breaking，Locking 等等，而對于吃瓜群眾來說，就是抖來抖去，滾來滾去，指來指去……

可能這輩子和街舞無緣？還是去跳跳廣場舞吧……

等等！先別急著放棄，加州大學(xué)伯克利分校的幾位大佬，為各位研究了一個 AI「秘密武器」，讓你瞬間舞技爆發(fā)，成為下一代舞王。

去年 8 月，加州大學(xué)伯克利分校的研究人員推出一篇題目為《Everybody dance now》的論文，使用深度學(xué)習(xí)算法 GAN（Generative Adversarial Networks，生成式 對抗網(wǎng)絡(luò) ），可以復(fù)制專業(yè)表演者的動作，并將動作遷移到任何人身上，從而實現(xiàn)「Do as I do」（舞我所舞）。

先來看復(fù)制舞蹈的結(jié)果展示，感受一下：

左上角為專業(yè)舞者，左下為檢測到的姿勢，中間和右邊是復(fù)制到目標(biāo)人物的生成視頻
之前 Deepfake 換臉技術(shù)大火，現(xiàn)在竟然整個人都可以「Deepfake」了！我們看一下這個神操作是怎么實現(xiàn)的。

論文中介紹道，遷移動作方法總的分為以下步驟：

給定兩個視頻，一個是動作源視頻，另一個是目標(biāo)人物視頻；

然后使用一種算法，從源視頻中檢測專業(yè)舞者的舞姿，并創(chuàng)建相應(yīng)運動的火柴人框架；

接著，使用訓(xùn)練的兩種生成對抗網(wǎng)絡(luò) （GAN）的深度學(xué)習(xí)算法，創(chuàng)建目標(biāo)人物的全部圖像，并為其生成更清晰、更逼真的視頻圖像。

最終結(jié)果是，該系統(tǒng)可以把專業(yè)舞者的身體動作映射到業(yè)余舞者的身上。除了模仿動作之外，它還能夠完美地虛構(gòu)人的聲音和臉部表情。

這項黑科技具體原理是這樣的，將動作遷移管道一共分為三個部分：

1 姿態(tài)檢測：

團隊使用現(xiàn)有的姿勢檢測模型 OpenPose（CMU 開源項目），從源視頻中提取身體、面部和手部的姿勢關(guān)鍵點。這一步的本質(zhì)是對身體姿勢進(jìn)行編碼，忽略掉身體外形等信息。

對舞者進(jìn)行姿態(tài)檢測，并編碼為火柴人圖形

2 全局姿態(tài)標(biāo)準(zhǔn)化：

計算給定幀內(nèi)源和目標(biāo)人物身體形狀、位置之間的差異，將源姿態(tài)圖形轉(zhuǎn)換到符合目標(biāo)人物身體形狀和位置的姿態(tài)圖形。

3 從標(biāo)準(zhǔn)化后的姿態(tài)圖形，推斷目標(biāo)人物的圖像：

使用一個生成式對抗網(wǎng)絡(luò)模型，訓(xùn)練模型學(xué)習(xí)從標(biāo)準(zhǔn)化后的姿態(tài)圖形映射到目標(biāo)人物圖像。

訓(xùn)練過程（上）與遷移過程（下）示意圖

在開發(fā)系統(tǒng)過程中，團隊使用了 NVIDIA TITAN Xp 中的 GeForce GTX 1080 Ti GPU，和由 PyTorch 加速的 cuDNN 來訓(xùn)練和推理。

在圖像轉(zhuǎn)換階段，采用了 NVIDIA 開發(fā)的對抗訓(xùn)練的圖像翻譯 pix2pixHD 架構(gòu)。通過 pix2pixHD 的全局生成器來預(yù)測面部殘差。他們對面部使用單個 70×70 PatchGAN 判別器。

訓(xùn)練過程中，源視頻和目標(biāo)視頻數(shù)據(jù)的收集方式略有不同。為確保目標(biāo)視頻質(zhì)量，使用手機相機，以每秒 120 幀的速度拍攝目標(biāo)主體的實時鏡頭，每個視頻時長至少 20 分鐘。

對于源視頻，只需要得到合適的姿勢檢測結(jié)果，所以用網(wǎng)上表演舞蹈的高質(zhì)量視頻即可。

系統(tǒng)映射結(jié)果展示

對于系統(tǒng)的結(jié)果，研究人員表示還不完美。盡管它產(chǎn)生的視頻大多還是非常逼真的，但是偶爾也會露出馬腳，比如出現(xiàn)身體某部位消失，就像「融化」了之類的異常現(xiàn)象。

此外，由于算法不對衣服編碼，無法產(chǎn)生衣服隨動作飄舞的視頻，目標(biāo)者必須穿緊身衣服才行。

如果暫且不計較這些缺點的話，這個技術(shù)的確令人興奮。

有了這個 AI 工具，即使你是個舞蹈方面的小白，或者四肢僵硬不協(xié)調(diào)，也能像郭富城，羅志祥，或者任何你喜歡的舞者那樣成為「舞林高手」。即使是杰克遜的太空步，對你來說也都只是小菜一碟了。

不過，擁有一個舞蹈夢的，不止伯克利分校這一個團隊。谷歌在 AI 和跳舞的結(jié)合上也花了心思。

去年年底，谷歌藝術(shù)與文化部技術(shù)項目經(jīng)理 Damien Henry 與英國編舞家 Wayne McGregor 合作，共同研發(fā)了一種能夠自動生成特定風(fēng)格的舞蹈編排工具。

擁有普利茅斯大學(xué)名譽科學(xué)博士學(xué)位的 McGregor ，對科學(xué)和技術(shù)素來感興趣。當(dāng)他回顧自己 25 年來的舞蹈視頻時，想到能否通過技術(shù)來使表演保持新鮮感。于是他去向 Henry 請教，如何借助技術(shù)不斷創(chuàng)作出新的舞蹈內(nèi)容？

而 Henry 從一個科學(xué)網(wǎng)站的帖子獲得了靈感。這個帖子介紹了使用神經(jīng)網(wǎng)絡(luò)，能夠用根據(jù)前一個字母中的筆跡預(yù)測下一個字母。

于是，他提出了一種類似算法，能夠?qū)o定運動進(jìn)行預(yù)測。通過視頻捕獲舞者姿勢，然后生成接下來最有可能進(jìn)行的舞蹈動作，并在屏幕上實時顯示。

AI 編舞過程展示

這個算法也同樣忽略了人的衣著，只是捕捉演員特定姿勢的關(guān)鍵點，從而得出火柴人模型。

當(dāng)他們錄入 McGregor 和他的舞蹈演員的舞蹈視頻后，AI 學(xué)會了如何跳舞，而且生成的舞蹈風(fēng)格和 McGregor 的很相似。

雖然在舞蹈創(chuàng)造力上， 人工智能 還是有一定的局限性。這款谷歌 AI 工具并不能發(fā)明出它從未「見過」的動作。它只是預(yù)測在它學(xué)過的動作中，最有可能發(fā)生的動作。

此外，這個技術(shù)還可以提供混合風(fēng)格的舞蹈編排，比如在 McGregor 的錄像中插入巴西桑巴舞的錄像，AI 可能會給出一個全新的混合舞。Henry 并不擔(dān)心它會給出一個四不像的舞蹈，因為學(xué)習(xí)的源頭還是由人去輸入的。

看了這么多幫你「跳舞」的技術(shù)，是不是已經(jīng)躍躍欲試了呢？

舞蹈 AI 能讓不敢動不想動的人，更自在更輕松地動起來，體驗舞蹈和運動的樂趣。但這背后的技術(shù)可不僅僅只是博人一樂。

支撐起舞蹈 AI 的姿態(tài)估計，背后潛藏著巨大的能量，它能夠幫助我們更準(zhǔn)確地完成形體動作，比如 3D 健身學(xué)習(xí)、體育項目姿勢矯正，病人康復(fù)訓(xùn)練，甚至是虛擬試衣，拍照姿勢矯正上，都會帶來新的突破。

姿態(tài)估計的用途廣泛

按照這樣的發(fā)展，機器會越來越了解我們，越來越熟悉我們的體態(tài)特征和行為方式，從而幫我們更好地認(rèn)識自己。

好了，先不說了，我要去跟 AI 學(xué)跳舞了。你要不要一起來？