用於形狀精確三維感知影像合成的著色引導生成隱式模型 | NeurIPS2021

  • 2022 年 1 月 24 日
  • AI

編譯 | 莓酊

編輯 | 青暮
生成輻射場的發展推動了3D感知影像合成的發展。由於觀察到3D對象從多個視點看起來十分逼真，這些方法引入了多視圖約束作為正則化，以從2D影像學習有效的3D輻射場。儘管取得了進展，但由於形狀-顏色的模糊性，它們往往無法捕獲準確的3D形狀，從而限制了在下游任務中的適用性。
在這項研究工作中，來自馬普所和港中文大學的學者通過提出一種新的著色引導生成隱式模型ShadeGAN來解決這種模糊性，它學習了一種改進的形狀表示。
論文地址：//arxiv.org/pdf/2110.15678.pdf
程式碼地址：//github.com/xingangpan/shadegan
關鍵在於，精確的3D形狀還應在不同的照明條件下產生逼真的渲染效果。多重照明約束通過顯式建模照明和在各種照明條件下執行著色實現。梯度是通過將合成影像饋送到鑒別器得到的。
為了補償計算曲面法線的額外計算負擔，研究團隊進一步設計了通過曲面跟蹤的高效體繪製策略，將訓練和推理時間分別減少24%和48%。
在多個數據集上實驗表明，在捕獲精確的底層三維形狀的同時，ShadeGAN做到了實現具備真實感的三維感知影像合成。他們還展示了該方法在三維形狀重建方面相對於現有方法的改進性能，在影像重照明方面亦有適用性。



1

介紹
高級深度生成模型，例如StyleGAN和BigGAN，在自然影像合成方面取得了巨大成功。但這些基於2D表示的模型無法以3D一致性方式合成實例新視圖。它們也無法表示明確的三維物體形狀。
為了克服這些限制，研究人員提出了新的深度生成模型，將3D場景表示為神經輻射場。3D感知生成模型可以顯式控制視點，同時在影像合成過程中保持3D一致性。它們展示了在無監督情況下從一組無約束的2D影像中學習3D形狀的巨大潛力。如果可以訓練出學習精確3D物體形狀的3D感知生成模型，各種下游應用就可以的到拓展，如3D形狀重建和影像重照明。
現有3D感知影像合成嘗試傾向於學習不準確且有雜訊的粗略3D形狀，如下圖所示。研究發現，這種不準確是由於方法所採用的訓練策略不可避免地存在模糊性。特別是一種正則化，稱之為「多視圖約束」，用於強制三維表示，使其從不同的視點看起來更逼真。
這種約束通常首先將生成器的輸出（例如，輻射場）投影到隨機取樣視點，然後將它作為假影像提供給鑒別器進行訓練。雖然這種約束使模型能夠以3D感知的方式合成影像，但會受到形狀-顏色模糊關聯的影響，即便有微小的形狀變化也能生成類似的RGB影像，這些影像在鑒別器看來同樣可信，因為許多物體顏色是局部平滑的。因此，不準確的形狀仍然隱藏在這個約束下。
在本文中，研究團隊提出了一種新的著色引導生成隱式模型（ShadeGAN）來解決上述歧義。特別是，ShadeGAN通過顯式建模著色（即照明和形狀的交互）學習更精確的3D形狀。
一個精確的3D形狀不僅應該從不同的角度看起來很逼真，在不同的照明條件下也應該十分逼真，即滿足「多重照明約束」。這一想法與光度立體有著相似的直覺，它表明可以從不同照明條件下拍攝的影像中恢復精確表面法線。
請注意，多重照明約束是可行的，因為用於訓練的真實影像通常是在各種照明條件下拍攝的。為了滿足此約束，ShadeGAN採用可重新照明的顏色場作為中間表示，近似反照率，但不一定滿足視點獨立性。渲染期間，顏色場在隨機取樣的照明條件下著色。由於通過這種著色處理的影像外觀強烈依賴於曲面法線，因此與早期的著色不可知生成模型相比，不準確的3D形狀表示將更清晰地顯示出來。通過滿足多重照明約束，可以鼓勵ShadeGAN推斷更精確的3D形狀，如上圖中右下所示。
上述著色處理需要通過反向傳播來通過生成器計演算法線方向，並且在3D體繪製中，對於單個像素的計算需要重複幾十次，從而引入額外的計算開銷。現有高效體繪製技術主要針對靜態場景，面對動態特性無法直接應用於生成模型。為了提高ShadeGAN的渲染速度，研究團隊建立了一個有效的曲面跟蹤網路，以評估基於潛在程式碼的渲染對象曲面。這使他們能夠通過僅查詢預測曲面附近的點來節省渲染計算，從而在不影響渲染影像品質的情況下減少24%和48%的訓練和推理時間。
通過多個數據集上進行綜合實驗驗證ShadeGAN的有效性。結果表明，與之前的生成方法相比，本文提出的方法能夠合成照片級真實感影像，同時捕獲更精確的底層三維形狀。學習到的三維形狀分布能夠實現各種下游任務，比如三維形狀重建，其中ShadeGAN明顯優於BFM數據集上的其他基準線。對著色過程進行建模，可以顯式控制照明條件，實現影像重照明效果。
ShadeGAN可以總結如下：
1）使用滿足多重照明約束的著色引導生成模型，從而解決現有三維感知影像合成中形狀-顏色模糊問題。ShadeGAN能夠學習更精確的3D形狀，從而更好地進行影像合成。
2） 通過曲面跟蹤設計了一種高效的繪製技術，這大大節省了基於體繪製生成模型的訓練和推理時間。
3）ShadeGAN學會了將陰影和顏色分離，更接近反照率，在影像合成中達到了自然重新照明效果。



2

ShadeGAN

神經體繪製

從神經輻射場（NeRF）的開創性工作開始，神經體繪製在表示3D場景和合成新視圖方面得到了廣泛的應用。通過基於坐標神經網路與體繪製相結合，NeRF以3D一致性完成高保真視圖合成。目前已經提出了一些嘗試擴展或改進NeRF。比如進一步模擬照明，然後學習在給定對齊多視圖、多照明影像情況下，將反射與著色分離。此外，許多研究從空間稀疏性、建築設計或高效渲染角度加速了靜態場景的渲染。這些照明和加速技術應用於基於體繪製的生成模型並非易事，因為它們通常從為定位、未配對的影像中學習，表示相對於輸入潛在編碼變化的動態場景。
研究團隊首次嘗試在基於體繪製的生成模型中對照明進行建模，作為精確三維形狀學習的正則化。並進一步為方法設計了高校的渲染技術，它具有相似的見解，但不依賴於通過真實深度進行訓練，也不限於視點小範圍。

生成三維感知影像合成

生成對抗網路（GANs）可以生成高解析度的真實照片影像，但對攝像機視點的明確控制卻很匱乏。為了能夠以3D感知的方式合成影像，許多最新方法研究了如何將3D表示合併到GANs中。
有些研究直接從3D數據中學習，但在本文中，研究團隊關注的是只能訪問無約束2D影像方法，因為這是更實際的設置。
研究團隊多次嘗試採用3D體素特徵和學習神經渲染，雖然產生了逼真的3D感知合成，但3D體素不可解釋，無法轉換為3D形狀。
NeRF可以成功促使在GANs中使用輻射場作為中間3D表示，是有一些令人印象深刻、具有多視圖一致性的3D感知影像合成，但這些方法提取的3D形狀通常不精確且有雜訊。
在本文中，研究團隊的主要目標是通過在渲染過程中顯式地建模照明來解決不準確形狀。這項創新有助於實現更好的3D感知影像合成，將具有更廣泛的應用。

從2D影像進行無監督的3D形狀學習

ShadeGAN涉及無監督方法，即從無約束單目視圖2D影像中學習3D物體形狀。雖然一些方法使用外部3D形狀模板或2D關鍵點作為弱監督，但本文考慮了更有難度的設置——只有2D影像是可用的。
大多數方法採用「綜合分析」範式，就是設計了照片幾何自動編碼器，以在重建損失情況下推斷每個影像的三維形狀和視點。這是可以學習一些對象類的3D形狀，只是通常依賴正則化來防止瑣碎的解決方案，如常用的對象形狀對稱假設。這種假設傾向於產生對稱結果，可能忽略對象的不對稱方面。最近，GAN2Shape表明，可以為2D GAN生成的影像恢復3D形狀。但這種方法需要低效的實例特定訓練，並恢復深度貼圖，而不是完整的三維表示。
本文提出的三維感知生成模型也可以作為無監督三維形狀學習的有力方法。與上述基於自動編碼器的方法相比，基於GAN的方法避免了推斷每個影像的視點需求，而且不依賴於強正則性。通過實驗更加證明了與最新、最先進的方法Unsp3d和GAN2Shape相比，ShadeGAN具有更高的性能。



3

ShadeGAN方法論
ShadeGAN通過無約束和未標記的 2D 影像學習考慮3D 感知影像合成問題。在生成隱式模型中建模著色，也就是照明和形狀的交互，實現對更精確三維對象形狀的無監督學習。
接下來會先提供關於神經輻射場（NeRF）的初步介紹，然後詳細介紹著色引導生成隱式模型。

3.1 神經輻射場的初步研究

作為一種深度隱式模型，NeRF使用MLP網路將3D場景表示為輻射場。取三維坐標和觀察方向作為輸入，並輸出體積密和顏色。為了在給定的相機姿勢下渲染影像，通過沿其對應的相機光線的體繪製獲得影像的每個像素顏色C，如下所示：
實踐中，這種體繪製是使用分層和分層取樣的離散形式實現的。由於該渲染過程是可微分的，因此通過靜態場景的姿勢影像直接優化NeRF。經過訓練後，NeRF允許在新的相機姿勢下渲染影像，實現高品質新穎視圖合成。

3.2著色引導生成隱式模型

開發生成隱式模型是十分有趣的，它可以為3D感知影像合成顯式著色過程建模。研究團隊對NeRF中的MLP網路進行了兩個擴展。首先，與大多數深度生成模型類似，它進一步取決於從先驗分布中取樣的潛在編碼z。其次，它不直接輸出顏色c，而是輸出可重新點亮的前餘弦顏色項。
它在概念上類似於反照率，在給定的光照條件下，它可以被遮蔽。雖然反照率是獨立於視點的，但在這項工作中，為了解釋數據集偏差，並沒有嚴格地對一個數據集實現這種獨立性。
因此，本文的生成器取坐標x、觀察方向d和潛在方向編碼z作為輸入，並輸出體積密度σ和前餘弦顏色a。注意，這裡σ獨立於d，而a對d的依賴是可選的。為了獲得相機光線的顏色C，近界和遠界和，研究團隊通過以下方式計算最終的前餘弦顏色A：
研究團隊還使用以下公式計演算法向n：
是體積密度σ相對於其輸入坐標的導數，它自然捕捉局部法線方向，並可通過反向傳播計算。然後通過Lambertian著色獲得最終顏色C，如下所示：
是照明方向，和是環境係數和漫反射係數。
攝像機和照明取樣
等式（2-4）描述了給定相機光線r（t）和照明條件渲染像素顏色的過程。生成完整影像要求除潛在編碼z外，還需對攝像姿勢和照明條件μ進行取樣，即。
在設置中，攝像姿態可以用俯仰角和偏航角來描述，並從先前的高斯分布或均勻分布中取樣，正如在以前的工作中所做的一樣。在訓練過程中隨機取樣相機姿勢將激發學習的3D場景從不同角度看起來逼真。雖然這種多視圖約束有利於學習有效的三維表示，但它通常不足以推斷準確的三維對象形狀。
因此，在本文中，研究團隊還通過從先驗分布中隨機取樣照明條件μ來進一步引入多重照明約束。實際上，可以使用現有方法從數據集估算。在實驗中，一個簡單且手動調整的先驗分布也可以產生合理結果。由於等式（4）中的漫反射項導致著色過程對法線方向敏感，該多重照明約束將使模型正則化，學習產生自然著色的更精確3D形狀。
訓練
生成模型遵循GANs範例，生成器與參數為φ的鑒別器D一起以對抗的方式進行訓練。在訓練期間，生成器通過相應的先驗分布pz、和中取樣潛在編碼z、相機姿勢和照明條件μ來生成假影像讓l表示從數據分布pI中取樣的真實影像。用正則化的非飽和GAN損耗來訓練ShadeGAN模型：
公式中λ 控制正則化強度。
探討
在等式（2-4）中，研究團隊通過體繪製獲得A和n之後執行著色。另一種方法是在每個局部空間點執行著色，其中：
是局部正常。
然後可以使用c(r(t), z) 執行體積排序，從而獲得最終的像素顏色。在實踐中，研究團隊觀察到該公式獲得了次優結果。
直觀原因是，在此公式中，法線方向在每個局部點處歸一化，忽略了在物體表面附近趨於較大。
本文使用的Lambertian著色近似於真實照明場景。雖然作為改進學習的三維形狀的良好正則化，但它可能會在生成影像的分布和真實影像的分布之間引入額外的間隙。
為了補償這種風險，可以選擇將預測的a調節到光照條件，即a = a(r(t), d, μ, z)。在照明條件偏離實際數據分布的情況下，生成器可以學習調整a值並減小上述間隙。

3.3通過曲面跟蹤實現高效體繪製

與NeRF類似，研究團隊使用離散積分實現體繪製，這通常需要沿攝影機光線取樣幾十個點，如圖所示。
在本文中，還需要在等式（3）中對生成器執行反向傳播，以獲得每個點的法線方向，這會大大增加計算成本。為了實現更高效的體繪製，一個自然的想法是利用空間稀疏性。通常，體繪製中的權重T (t, z)σ(r(t), z)在訓練過程中會集中在物體表面位置上。如果在渲染之前知道粗糙曲面的位置，就可以在曲面附近取樣點以節省計算。對於靜態場景，將這種空間稀疏性存儲在稀疏體素網格中，但這種技術不能直接應用於我們的生成模型，因為3D場景相對於輸入的潛在編碼不斷變化。
為了在生成隱式模型中實現更高效的體繪製，研究團隊進一步提出了一種曲面跟蹤網路S，該網路學習模仿以潛在編碼為條件的曲面位置。特別是，體渲染自然允許通過以下方式對對象曲面進行深度估計：
T (t, z)的定義方式與（2）中的方式相同。因此，給定相機姿態和潛在編碼z，可以渲染全深度貼圖。如上圖（b）所示，使用表面跟蹤網路模擬，這是一個以z，為輸入並輸出深度圖的輕量級卷積神經網路。深度模擬損失為：
其中，Prec是促使更好地捕捉表面邊緣的感知損失。
在訓練過程中，與發生器和鑒別器一起進行優化。每次在取樣一個潛在編碼z和一個相機姿勢之後，可以得到深度貼圖的初始猜測。
然後，對於具有預測深度s像素，可以在等式（2,3,6）中執行體繪製，且近邊界和遠界，是體積渲染的間隔，該間隔隨著訓練迭代i的增長而減小。
具體來說，我們從一個大的間隔開始並減小到。像減少時，用於渲染m的點數也相應減少。與生成器相比，高效的曲面跟蹤網路的計算成本是微乎其微的，因為前者只需要一次前向過程來渲染影像，而後者將被查詢H × W × m 次。因此，m的減少將顯著加快ShadeGAN的訓練和推理速度。



4

實驗
實驗表明，ShadeGAN學習的3D形狀比以前的方法精確得多，同時允許對照明條件進行顯式控制。使用的數據集包括CelebA、BFM和CAT，它們都只包含無約束的2D RGB影像。
在模型結構方面，我們採用了基於SIREN的MLP作為生成器，卷積神經網路作為鑒別器。對於光照條件的先驗分布，使用Unsup3d估計真實數據的光照條件，然後擬合的多元高斯分布作為先驗。消融研究中還包括手工製作的先驗分布。除非另有說明，否則在所有實驗中，讓前餘弦顏色a取決於照明條件μ以及觀察方向d。

與基準線進行比較

將ShadeGAN與兩種最先進的生成隱式模型（GRAF和pi-GAN）進行比較。具體地，圖4包括合成影像以及它們對應的3D網格，其通過在體積密度σ上執行 marching cubes而獲得。
雖然GRAF和pi-GAN可以合成具有可控姿勢的影像，但它們學習到的3D形狀不準確且有雜訊。相比之下，本文的方法不僅合成真實感的3D一致影像，而且還學習更精確的3D形狀和曲面法線，這表明所提出的多重照明約束作為正則化的有效性。
圖5中包含了更多的合成影像及其相應的形狀。除了更精確的3D形狀外，ShadeGAN還可以從本質上了解反照率和漫反射著色組件。如圖所示，儘管並不完美，ShadeGAN已成功以令人滿意的品質分離陰影和反照率，因為這種分離是多照明約束的自然解決方案。
在BFM數據集上對學習的3D形狀的品質進行定量評估。具體來說，使用每個生成隱式模型生成50k影像及其相應的深度貼圖。來各個模型的影像深度對被用作訓練數據，來訓練額外的卷積神經網路（CNN），這個網路學習預測輸入影像的深度圖。
然後，在BFM測試集上測試每個經過訓練的CNN，並將其預測與真實深度圖進行比較，作為對所學3D形狀品質的測量。
本文報告了尺度不變深度誤差（SIDE）和平均角度偏差（MAD）度量。其中ShadeGAN的表現明顯優於GRAF和pi GAN。ShadeGAN還優於其他先進的無監督3D形狀學習方法，包括unsupervised和GAN2Shape，在無監督3D形狀學習都有著巨大潛力。
不同模型合成的影像的FID分數上，其中ShadeGAN的FID分數略差於BFM和CelebA中的pi GAN。直觀地說，這是由近似著色（即朗伯著色）和真實照明之間的差距造成的，可以通過採用更真實的著色模型和改進之前的照明來避免。

消融研究

研究團隊進一步研究了ShadeGAN中幾種設計選擇的影響。首先，執行局部點特定的著色。如圖所示，局部著色策略的結果明顯比原始策略差，這表明考慮是有益的。
為了驗證所提出的高效體繪製技術的有效性，研究團隊將其對影像品質和訓練/推理時間的影響包含在選項中。據觀察，高效體繪製對性能影響不大，但ShadeGAN的訓練和推理時間分別顯著減少了24%和48%。
此外，在下圖中可視化了曲面跟蹤網路預測的深度圖和通過體繪製獲得的深度圖。結果表明，在不同的身份和相機姿態下，曲面跟蹤網路可以一致地預測非常接近真實曲面位置的深度值，因此可以在不犧牲影像品質的情況下取樣預測曲面附近的點進行渲染。

光照感知影像合成

由於ShadeGAN對著色過程進行建模，因此在設計上允許對照明條件進行顯式控制。下圖提供了這樣的照明感知影像合成結果，其中ShadeGAN在不同的照明方向下生成有希望的影像。在預測的a以照明條件μ為條件的情況下，a會略微改變w.r.t.照明條件，如在陰影過暗的區域，a會更亮，最終影像更自然。我們還可以在等式4（即Blinn Phong著色，其中h是視點和照明方向之間角度的平分線）中選擇性地添加鏡面反射項，以創建鏡面反射高光效果。

GAN反演

ShadeGAN還可以通過執行GAN反演來重建給定的目標影像。如下圖所示，這種反演允許我們獲得影像的幾個因素，包括3D形狀、表面法線、近似反照率和陰影。此外，我們還可以通過更改視點和照明條件來進一步執行視圖合成和重新照明。

討論

由於使用的朗伯陰影近似於真實照明，因此ShadeGAN學習的反照率並沒有完全分離。本文的方法不考慮對象的空間變化的材料特性。在未來，研究團隊打算結合更複雜的著色模型，以更好地了解分離的生成反射場。



5

結論
本文提出的ShadeGAN是一種新的生成隱式模型，用於形狀精確的3D感知影像合成。並證實在ShadeGAN中通過顯式光照建模實現的多重光照約束顯著有助於從2D影像學習精確的3D形狀。
ShadeGAN還可以在影像合成過程中控制照明條件，實現自然的影像重新照明效果。為了降低計算成本，研究團隊進一步設計了一種輕量級曲面跟蹤網路，它為生成隱式模型提供了一種高效的體繪製技術，顯著加快了訓練和推理速度。
推薦閱讀

伯克利團隊新研究：不用神經網路，也能快速生成優質動圖

2022-01-08

NeurIPS 2021 | 曠視提出：空間集成 ——一種新穎的模型平滑機制

2021-11-20

NVIDIA CES發布會：「卡皇」RTX 3090 Ti初露臉，元宇宙工具開放個人免費版

2022-01-05

雷峰網


Tags:

VirMach 便宜 VPS