文 | 學(xué)術(shù)頭條
在游戲中，親手創(chuàng)造一個(gè)與眾不同的角色，樂(lè)趣不言而喻。但有時(shí)往往是“游戲五分鐘，捏臉兩小時(shí)”。
從主機(jī)、PC 到手機(jī)游戲，隨著硬件配置不斷迭代，游戲在畫面精細(xì)度和玩法操控度方面也越發(fā)強(qiáng)大，很多游戲開發(fā)商為了滿足玩家們的個(gè)性化需求，都提供了一整套為游戲角色 “捏臉” 的系統(tǒng)，能讓玩家根據(jù)自己的審美細(xì)化設(shè)定角色外觀。
與此同時(shí)，游戲背后的計(jì)算機(jī)科學(xué)家們也一直在努力設(shè)計(jì)新的技術(shù)，使游戲體驗(yàn)更加沉浸化，以期達(dá)到引人入勝的效果，其中就包括自動(dòng)創(chuàng)建接近真人的游戲角色的方法。
圖｜一款游戲的捏臉過(guò)程
不過(guò)，目前大多數(shù)現(xiàn)有的創(chuàng)建和定制游戲角色的方法都要求玩家手動(dòng)調(diào)整角色的面部特征，以便重新創(chuàng)建自己的面部或捏成其他人的面部，一個(gè)玩家通常需要幾個(gè)小時(shí)耐心去手動(dòng)調(diào)整數(shù)百個(gè)參數(shù)（例如臉型、眼睛）來(lái)創(chuàng)建一個(gè)類似于指定肖像的角色，
最近，一些開發(fā)人員也嘗試開發(fā)一些新方法，通過(guò)分析真實(shí)人物的面部圖像，自動(dòng)定制角色的面部，但這些方法實(shí)際效果通常不佳，要么過(guò)程復(fù)雜，要么對(duì)人臉形狀和紋理的自由度有限。
來(lái)自網(wǎng)易伏羲 AI 實(shí)驗(yàn)室和密歇根大學(xué)的研究人員最近發(fā)明了一種深度學(xué)習(xí)的方法，名為 MeInGame，它可以通過(guò)分析一個(gè)人臉的單個(gè)肖像而自動(dòng)生成游戲人物臉，這項(xiàng)技術(shù)在 arXiv 上預(yù)先發(fā)表的一篇論文中提出。
開發(fā)這項(xiàng)技術(shù)研究人員在論文中寫道：“我們提出了一種自動(dòng)創(chuàng)建人物面部的方法，可以從一張肖像中預(yù)測(cè)生成面部的形狀和紋理，并可以集成到大多數(shù)現(xiàn)有的 3D 游戲中?！?/p>
不少捏臉高手為了在游戲中捏出一個(gè)指定人物的臉可謂煞費(fèi)苦心，甚至總結(jié)了一套復(fù)雜的教程和參數(shù)包，而今后，可能只需要輸入一張人臉照片就能輕松搞定了。
讓仿真人臉進(jìn)入游戲世界
現(xiàn)有游戲中的人臉定制系統(tǒng)，很多是基于三維變形模型（3DMM）計(jì)算實(shí)現(xiàn)的，作為一種經(jīng)典的三維人臉形狀和反照率的統(tǒng)計(jì)模型，3DMM 在人臉?lè)治?、模型擬合、圖像合成等方面有著廣泛的應(yīng)用。
雖然基于 3DMM 的方法可以從單個(gè)圖像中恢復(fù)出精確的三維人臉，但其網(wǎng)格的拓?fù)浣Y(jié)構(gòu)與大多數(shù)游戲中使用的網(wǎng)格不同，為了獲得逼真的紋理，現(xiàn)有的方法需要大量的人臉紋理數(shù)據(jù)進(jìn)行訓(xùn)練，而建立這樣的數(shù)據(jù)集往往既費(fèi)時(shí)又費(fèi)力。
此外，這些數(shù)據(jù)集并不總是包含隨機(jī)收集的真實(shí)圖像，因此，在這些數(shù)據(jù)集上訓(xùn)練的模型在呈現(xiàn)新數(shù)據(jù)時(shí)，很難表現(xiàn)出一致的良好性能，進(jìn)一步而言，這種在實(shí)驗(yàn)室條件下進(jìn)行的方法在真實(shí)情況下可能無(wú)法很好地落地推廣，盡管人們已提出了許多基于深度學(xué)習(xí)的三維人臉重建方法，目前在游戲中的應(yīng)用仍然較少。
圖｜第一行為輸入肖像；第二行是由 MeInGame 方法生成的游戲中的角色；MeInGame 方法對(duì)光照變化、陰影和遮擋具有很強(qiáng)的魯棒性，可以很好還原個(gè)性化的細(xì)節(jié)，如膚色、妝容和皺紋等。（來(lái)源：arxiv）
MeInGame 的貢獻(xiàn)在于：
1、提出了一種低成本的三維人臉數(shù)據(jù)集生成方法。所創(chuàng)建的數(shù)據(jù)集在種族和性別上是平衡的，面部形狀和紋理都是從原始圖像中創(chuàng)建；
2、提出了一種將重建的三維人臉形狀轉(zhuǎn)化為游戲網(wǎng)格的方法，可以直接在游戲環(huán)境中使用，該方法不依賴于網(wǎng)格連通性，計(jì)算效率高；
3、為了消除光照和遮擋的影響，他們訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，在一個(gè)通用的訓(xùn)練范式下，從 “野生” 人臉圖像中預(yù)測(cè)一個(gè)完整的漫反射貼圖。
在未來(lái)，這個(gè)研究小組設(shè)計(jì)的角色臉生成方法可以集成到許多 3D 視頻游戲中，實(shí)現(xiàn)與真人非常相似的角色自動(dòng)生成。MeInGame 模型的代碼和用于訓(xùn)練該模型的數(shù)據(jù)集已在線發(fā)布，游戲開發(fā)者可通過(guò)以下網(wǎng)址訪問(wèn)：
https://github.com/FuxiCV/
該方法不僅能應(yīng)用于游戲，由于 COVID-19 的疫情影響，人們不得不保持社交距離，很多數(shù)會(huì)議活動(dòng)都改為在線 / 虛擬會(huì)議，甚至在 3D 游戲中舉辦學(xué)術(shù)研討會(huì)，隨著越來(lái)越多的社交活動(dòng)從面對(duì)面走向網(wǎng)絡(luò)化，用戶在虛擬環(huán)境中自動(dòng)生成 3D 角色也會(huì)讓社交的形式變得非常有趣。
模型原理和測(cè)試效果
對(duì)于 MeInGame 模型的特點(diǎn)，研究人員在論文中闡釋說(shuō)：“給定一張輸入的人臉照片，我們首先基于 3D 變形人臉模型（3DMM）和卷積神經(jīng)網(wǎng)絡(luò)（CNNs）重建 3D 人臉，然后將 3D 人臉的形狀轉(zhuǎn)移到模板網(wǎng)格上。該網(wǎng)絡(luò)以人臉照片和展開的粗 UV 紋理圖為輸入，預(yù)測(cè)光照系數(shù)和細(xì)化紋理圖?！?/p>
圖｜MeInGame 方法概述。（來(lái)源：arxiv）
利用神經(jīng)網(wǎng)絡(luò)的強(qiáng)大功能，可以有效地去除輸入中不需要的光照分量和遮擋。由于典型游戲引擎的渲染過(guò)程是不可微的，他們還利用可微渲染方法將渲染輸出中的梯度反向傳播到訓(xùn)練過(guò)程中需要參數(shù)更新的各個(gè)模塊。
這樣，所有的網(wǎng)絡(luò)組件都能以端到端的方式順利訓(xùn)練。為了減少訓(xùn)練數(shù)據(jù)的依賴性，除了可微繪制外，他們還設(shè)計(jì)了一種新的基于半監(jiān)督學(xué)習(xí)的訓(xùn)練流水線，使用配對(duì)數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，使用未標(biāo)記數(shù)據(jù)進(jìn)行自我監(jiān)督學(xué)習(xí)。因此，MeInGam 網(wǎng)絡(luò)能夠以半監(jiān)督的方式進(jìn)行訓(xùn)練，減少對(duì)預(yù)定義紋理貼圖的依賴。
最后，通過(guò)將生成的人臉網(wǎng)格和紋理加載到游戲環(huán)境中，就可以為玩家創(chuàng)建逼真的游戲角色。
值得注意的是，研究人員將人臉形狀和紋理的重建作為一個(gè)自我監(jiān)督的人臉相似性度量問(wèn)題。在可微繪制的基礎(chǔ)上，設(shè)計(jì)了一個(gè)繪制循環(huán)，從與輸入人臉照片相似的預(yù)測(cè)形狀和紋理中強(qiáng)制進(jìn)行二維人臉繪制。
MeInGame 方法由幾個(gè)可訓(xùn)練的子網(wǎng)絡(luò)組成。首先，圖像編碼器以人臉圖像為輸入，產(chǎn)生潛在特征；其次，將圖像特征展平并輸入光照回歸器，一個(gè)由幾個(gè)完全連接的層組成的輕型網(wǎng)絡(luò)，并預(yù)測(cè)光照系數(shù)（光照方向、環(huán)境光、漫反射和鏡面反射顏色）；然后，研究人員引入了一種紋理編碼器，將輸入圖像和粗紋理映射的特征串接在一起，然后輸入到紋理解碼器中，產(chǎn)生精細(xì)的紋理映射。
最后，使用游戲網(wǎng)格、精細(xì)紋理貼圖、姿勢(shì)和照明系數(shù)，研究人員使用可微渲染器將面部網(wǎng)格渲染為 2D 圖像，并強(qiáng)制該圖像與輸入的面部照片相似。
為了進(jìn)一步改進(jìn)結(jié)果，他們還引入了兩個(gè)鑒別器，一個(gè)用于人臉圖像，另一個(gè)用于生成人臉紋理圖。此外，還創(chuàng)建了一個(gè)種族和性別平衡（RGB）數(shù)據(jù)集，并將其命名為 “RGB 3D 人臉數(shù)據(jù)集”，與其他需要多視點(diǎn)圖像的方法不同，他們的方法只使用單視點(diǎn)圖像即可，并且容易獲取。
研究人員基于英特爾 i7 CPU 和英偉達(dá) 1080Ti GPU 上運(yùn)行實(shí)驗(yàn)，使用 PyTorch3D（v0.2.0）及其依賴項(xiàng)。給定一幅人像和粗紋理圖，MeInGame 網(wǎng)絡(luò)只需要 0.4s 就可以生成一幅 1024×1024 精細(xì)紋理圖。
圖｜MeInGame 創(chuàng)建游戲角色（來(lái)源：arxiv）
研究人員在實(shí)驗(yàn)中還進(jìn)行了定性和定量比較，呈現(xiàn)效果不錯(cuò)。他們將 MeInGame 方法與其他一些最先進(jìn)的游戲角色自動(dòng)創(chuàng)建方法 / 系統(tǒng)進(jìn)行了比較，包括《一夢(mèng)江湖》、Loomie、《逆水寒》和 ZEPETO 中的角色定制系統(tǒng)。
最終，MeInGame 的結(jié)果在面部形狀和外觀方面都比其他結(jié)果更類似于輸入圖像，他們還將其與最先進(jìn)的基于 3DMM 的方法進(jìn)行了比較，盡管能從單個(gè)圖像重建 3D 人臉，但突出的問(wèn)題是，3DMM 只模擬面部特征，不包括一個(gè)完整的頭部模型以及紋理，使其難以直接用于游戲環(huán)境。
此外，研究人員也邀請(qǐng)了 30 人進(jìn)行評(píng)估。每個(gè)人分配了 480 組結(jié)果。每組結(jié)果包括一幅肖像、MeInGame 的結(jié)果和一個(gè)來(lái)自其他的結(jié)果，參與者被要求從兩個(gè)結(jié)果中選擇一個(gè)更好的，并將其與參考肖像進(jìn)行比較，用戶報(bào)告的分?jǐn)?shù)也反映了 MeInGame 結(jié)果的質(zhì)量。
圖｜一些實(shí)驗(yàn)數(shù)據(jù)對(duì)比參考（來(lái)源：arxiv）
在總結(jié)中，研究人員提到了 MeInGame 方法仍然有的一些局限性。例如，當(dāng)存在嚴(yán)重遮擋（例如帽子）時(shí)，該方法無(wú)法產(chǎn)生可靠的結(jié)果，因?yàn)殇秩酒鳠o(wú)法對(duì)頭部網(wǎng)格外的對(duì)象創(chuàng)建的陰影進(jìn)行建模。其次，同一個(gè)人在嚴(yán)重光照變化下的兩幅肖像的結(jié)果也有差別，結(jié)果會(huì)受到不同顏色燈光的影響。
圖｜MeInGame 方法的特殊情況（來(lái)源：arxiv）
AI 陰暗面不容忽視
話說(shuō)回來(lái)，技術(shù)的落地應(yīng)用，往往并不是技術(shù)本身的問(wèn)題，有時(shí)候會(huì)牽扯到一些社會(huì)問(wèn)題，比如個(gè)人隱私或者肖像權(quán)。
本文提出了一種新的游戲角色人臉自動(dòng)生成方法，該方法可以輕松產(chǎn)生與輸入照片在臉形和紋理方面相似的角色臉，考慮到建立同時(shí)具有形狀和紋理的三維人臉數(shù)據(jù)集的成本很高，研究人員還提出了一種低成本的方法來(lái)生成所需的數(shù)據(jù)訓(xùn)練，于技術(shù)而言，該方法的性能要大大優(yōu)于現(xiàn)有的方法，能為游戲互動(dòng)增添不少樂(lè)趣。
但是在游戲中隨意創(chuàng)建一個(gè)其他真人的臉，越來(lái)越逼真，會(huì)不會(huì)牽扯到很多社會(huì)倫理問(wèn)題？這是 AI 技術(shù)自誕生以來(lái)就面臨的陰暗面問(wèn)題，此前，市面上有些 AI 換臉的技術(shù)就曾把一些明星、名人的臉無(wú)縫移植到一些不雅視頻乃至無(wú)厘頭作品中，造成的影響非常糟糕。
所以技術(shù)雖好，如何去合法合規(guī)地運(yùn)用，可能也是 MeInGame 在落地時(shí)需要考慮到的問(wèn)題。
