作者 | 溫淑

倫敦帝國理工學院和初創(chuàng)公司FaceSoft.io的研究人員設計出一個人臉建模系統(tǒng)AvatarMe。AvatarMe可以依據任意一張人臉照片和一些面部細節(jié)，生成4K x 6K分辨率的3D人臉模型。

AvatarMe是首個能根據單一圖像生成較高分辨率3D人臉模型的系統(tǒng)。在未來，AvatarMe或可用于視頻會議等各個VR應用場景。

這項研究發(fā)表于CVPR 2020，論文標題為《AvatarMe：“在野外”的真實的可渲染的3D臉部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。

論文鏈接：https://arxiv.org/pdf/2003.13845.pdf

CVPR（Conference on Computer Vision and Pattern Recognition）是由IEEE舉辦的計算機視覺和模式識別領域的頂級會議，本屆會議在6月13日到6月19日之間舉辦。

一、AvatarMe：依據一張照片生成逼真的3D人臉

3D人臉建模是計算機視覺、圖形學、機器學習領域的研究焦點之一。在過去幾年，許多研究團隊研發(fā)了基于生成對抗性網絡（GAN）的3D人臉建模系統(tǒng)。

GAN由一個生成網絡和一個判別網絡組成。GAN模型的學習過程就是生成網絡和判別網絡的相互博弈的過程：生成網絡隨機合成一張圖片，讓判別網絡判斷這張圖片的真假，繼而根據判別網絡給出的反饋不斷提高“造假”能力，最終做到以假亂真。

但是，在依據任意人臉照片生成3D人臉模型方面，現有的解決方案普遍性能較差，生成的3D人臉模型分辨率較低。

倫敦帝國理工學院和初創(chuàng)公司FaceSoft.io的研究人員認為，這是因為兩個原因：

一方面，研究人員缺乏可用于培訓的數據；另一方面，可成功應用于高分辨率數據的穩(wěn)健方法也比較少。

為了解決這些問題，倫敦帝國理工學院和初創(chuàng)公司FaceSoft.io的研發(fā)人員捕獲了一個關于面部形狀和反射率的大型數據集。

同時，研究人員采用基于藝術狀態(tài)的3D紋理和形狀重建方法，以渲染所需的每像素分辨率和鏡面反射分量。最終，研究人員成功地優(yōu)化了3D人臉建模結果。

▲AvatarMe系統(tǒng)的管道結果

二、采用兩種捕獲方法，收集超200張人臉圖像

為了建立可用于訓練的人臉數據集，研究人員采用兩種方法收集數據。

第一種方法中，研究人員利用一個有168個光源的極化LED球泡燈和9臺單反相機，捕獲高分辨率的孔隙級人臉反射率圖。極化LED球泡燈中，一半的光源是垂直極化的，另一半光源是水平極化的。兩種極化方式的光源交錯排布。

第二種方法中，研究人員利用非極化的LED球泡燈進行色彩空間分析，以捕獲解纏的紋理。相比于第一種方法，利用非極化的LED球泡燈只需捕獲不到一半的數據，因此捕獲時間較短短。另外，由于不需要偏振片（polarizer），非極化的LED球泡燈設置也比較簡單。

通過這兩種方法，研究人員采集到超過200個不同年齡和特點的人的孔隙級人臉反射率圖。為便于進一步研究，研究人員將收集到的圖像引入一個標準拓撲結構中，建立人臉數據庫。

研究人員將這一數據庫命名為RealFaceDB，根據論文，與同類人臉數據庫相比，RealFaceDB規(guī)模為最大。

▲將人臉圖像引入標準拓撲結構

三、不僅能用低分辨率照片建模，戴墨鏡照片也行

基于RealFaceDB數據庫，研究人員開始訓練基于GAN的AvatarMe系統(tǒng)。

訓練過程中，研究人員首先輸入一張低分辨率的人臉圖片，用3DMM算法重建一個帶紋理的基本幾何體。然后，利用一個超級分辨率網絡，研究人員重建紋理映射。接下來，研究人員利用一個去照明網絡獲得高分辨率的漫反射函數（AD）。最后，研究人員利用漫反射函數AD和基本幾何體，推斷出其他部分的函數（AS、ND、NS），進而建立仿真的3D人臉模型。

經過訓練，AvatarMe系統(tǒng)可以輸出4K x 6K分辨率的3D人臉模型。

為了評估AvatarMe的性能，研究人員輸入隨機圖片，觀察AvatarMe重建的3D模型是否逼真。結果顯示，AvatarMe系統(tǒng)重建的3D人臉模型沒有產生偽影。另外，在照片主人公戴有墨鏡的情況下，系統(tǒng)也能較精準地建模。

結語：未來計劃把RealFaceDB數據庫開源

本項研究中，倫敦帝國理工學院和初創(chuàng)公司FaceSoft.io的研究人員設計出人臉建模系統(tǒng)AvatarMe。AvatarMe可以利用任意一張人臉照片，建立出較高分辨率的3D人臉模型。

研究人員還建立了同類數據庫中規(guī)模最大的RealFaceDB數據庫。研究人員稱，未來計劃將這一數據庫向科學界開源。

同時，論文指出，RealFaceDB數據庫還存在一些局限性。比如，RealFaceDB數據庫中缺乏來自深膚色種族的樣本。因此，在依據深膚色種族樣本建模時，AvatarMe系統(tǒng)建立的3D人臉模型分辨率有所降低。

參考信源：VentureBeat、arXiv