虛擬在左，真實在右：德國學者用AI合成一億像素逼真3D影像，可任意旋轉

• 2021 年 10 月 19 日
• AI

近日，來自德國埃爾蘭根-紐倫堡大學的學者提出了一種新穎的神經網路方法，用於3D影像的場景細化和新視圖合成。

只需要輸入點雲和相機參數的初始估計，就可以輸出由任意相機角度合成的影像，360度旋轉都不是問題。

研究人員表示，高效的單像素點光柵化讓他們能夠實時顯示超過 1 億個像素點的點雲場景。

一億個像素點是什麼概念？說白了，這些3D影像太逼真了。

再看看合成圖和原圖的對比，簡直和拍照沒啥區別。

這項研究最近在推特上收到了很大的關注，網友紛紛回應：impressive！

同時，也有網友表示，這項研究確實利用了大規模動態輸入點雲的優勢，而這原本是「超級難」的問題。

如下圖所示，給定一組RGB影像和初始3D重建（圖左），該渲染方法能夠合成新的幀，並優化場景參數（圖右）。

論文地址：//arxiv.org/pdf/2110.06635v1.pdf

用神經網路自動學習合成高清3D影像已有成效，但之前還難以做到大動態的視角變換，他們是怎麼實現的呢？

合成逼真的虛擬環境是電腦圖形學和電腦視覺研究的熱門領域之一。

其中，3D 形狀的編碼形式是非常關鍵的部分，人們通常會考慮三角形網格、體素網格、隱函數和點雲，每種表示法都有各自的優缺點。

從左到右，分別是點雲、體素、三角網格形式的兔子3D影像。

為了有效渲染不透明表面，人們通常選擇三角形網格。

體素網格常用於容量表示，而隱函數適用於精確描述非線性分析表面（比如a^2+b^2+c^2=1，就是一個單位球面）。

另一方面，點雲具有易於使用的優點，因為不必考慮拓撲性質，非常便於作為3D影像合成的中間輸出階段。不必考慮拓撲性質是指，無論是圓環還是球體，其表示形式都是一樣的。

在2000年左右，點雲渲染，尤其是點散布，已在電腦圖形學中得到廣泛研究。

與此同時，人們越來越關注基於影像的渲染技術。也就是基於粗略的、重建的3D模型以及已有的一組物體影像，來合成新的視圖。

這些方法存在輸入不精確的問題，例如，如果幾何圖形包含孔或輸入影像沒有完全對齊，則會出現偽影。

而基於神經影像的渲染方法使用神經網路來去除這些偽影，可以生成前所未有的如照片般逼真的高品質新視圖。

圖源：//arxiv.org/pdf/2008.05511.pdf

Aliev等人則表明，將傳統的點光柵化器與深度神經網路配對也是可行的。

圖源：//arxiv.org/pdf/1906.08240.pdf（Aliev et al.）

這一發現對3D重建尤其有益，因為其通常使用密集點雲作為初始輸出。因此，我們可以跳過不必要的、可能出現錯誤的三角測量，直接可視化重建的場景。

在本文中，研究人員的方法建立在 Aliev 等人的管道之上，並以多種方法對其進行改進。

圖2：基於點的HDR神經渲染管道概覽。

如上圖所示，由紋理點雲和環境圖組成的場景被光柵化為一組具有多種解析度的稀疏神經影像。

深度神經網路重建HDR影像。

然後通過一個基於物理的可微色調映射器將其轉換為給定新視點場景的 LDR影像。

在訓練階段，可以同時優化矩形框中的所有參數以及神經網路。

在整個管道中，他們特別添加了一個物理的、可微分的相機模型和一個可微分的色調映射器，並提出了一個公式，以更好地近似單像素點光柵化的空間梯度。

可微分的好處是，不僅可以優化神經點特徵，還可以在訓練階段校正不精確的輸入。

因此，系統可以根據神經渲染網路的視覺損失來調整這些參數：

• 相機模型
• 相機角度
• 點雲位置
• 點雲顏色
• 環境貼圖
• 渲染網路權重
• 漸暈
• 相機響應函數
• 每張影像的曝光和白平衡

得益於此，影像的渲染品質得到了顯著提升。

此外，該方法能夠合成任意的高動態範圍成像（HDR，即大幅度的曝光變化）和LDR（低動態範圍成像，容易缺失影像細節）設置，並校正曝光不足或過度曝光的視圖（如下圖所示）。

同時，深度神經網路內部的參數數量也顯著減少，因為亮度和顏色變化由物理上正確的感測器模型單獨處理。

如下表所示，與其他可微渲染器相比，本文的方法效率高出大約兩個數量級。

表I：RTX 2080 Ti上1920×1080影像的正向和反向渲染時間（以毫秒為單位）。

因此，渲染性能提高了，過擬合偽影也減少了。

總而言之，這篇論文的研究成果如下：

• 用於場景細化和可視化的端到端可訓練的基於點的神經渲染管道。

• 使用偽影幾何概念的單像素點碎片的可微分光柵化器。

• 可模擬數碼攝影鏡頭和感測器效果的基於物理的可微分色調映射器。

• 用於大型點雲的高效多層渲染的隨機點丟棄技術。

最後，該研究已開源：//github.com/darglein/ADOP

圖11：在羅馬船隻數據集上合成的新視圖。使用與參考照片相同的曝光值對影像進行渲染。在右列中，每個像素的誤差都是可視化的。

我們再詳細介紹一下模型管道。

管道的第一步是可微分光柵化器（圖2左）。

它通過使用相機參數將每個點投影到影像空間，將其呈現為單個像素大小的碎片。

如果該像素點通過一個測試，它就會在神經網路輸出影像中佔據一個描述符。所有未被點著色的像素都由從背景顏色填充。

由於我們將點渲染為單個像素大小的碎片，輸出的影像可能會非常稀疏，這取決於點雲的空間解析度和相機距離。

因此，以不同的比例渲染多個圖層，使輸出影像密集化，並處理遮擋和照明問題。

神經渲染器（圖2中間）採用多解析度神經影像生成單個HDR輸出影像。

它由一個四層全卷積U-Net和跳躍連接組成，其中較低解析度的輸入影像連接到中間特徵張量。使用平均池化執行下取樣，並通過雙線性插值對影像進行上取樣。

研究人員主要使用門控卷積，它最初是為填孔任務而開發的，因此非常適合稀疏點輸入。

總體而言，該網路架構類似於 Aliev等人提出的架構，只減少了一層，並進行了一些修改，以支援HDR成像。

首先，去掉批歸一化層，因為它們將中間影像的均值和標準差歸一化為固定值。這會使得總感測器輻照度（類似光強概念）丟失，並且無法從3D點傳播到最終影像。

此外，如果場景的亮度範圍相當大（大於 1 : 400），會以對數方式存儲神經點描述符。否則，神經描述符將線性存儲。對於對數描述符，在光柵化過程中將其轉換為線性空間，以便卷積操作僅使用線性亮度值。

管道中的最後一步（圖2右側）是可學習的色調映射操作符，它將渲染的HDR影像轉換為 LDR。

該色調映射器模擬數位相機的物理鏡頭和感測器特性。因此，它最適合捕捉智慧手機、數碼單反相機和攝像機的LDR影像。

儘管合成效果如此驚艷，在實驗中，研究人員也發現了一些局限性。

其中一個限制是，由於不同參數的數量巨大，不容易尋找合適的超參數。必須平衡紋理顏色、結構參數、色調映射設置和神經網路權重的學習速率。為了找到適合所有場景的可行設置，需要進行廣泛的網格搜索。

另一個限制是，點位置的優化對於中到大的學習率是不穩定的。因此，該管道需要合理的初始點雲，例如，通過多視圖立體系統或 LiDaR 掃描儀。

研究人員認為這個問題是由光柵化過程中的梯度逼近引起的。它適用於相機模型和相機角度優化，因為數千個點的空間梯度在一個優化器步驟中得到平均。然而，對於位置點梯度，僅使用單個近似梯度來更新其坐標。因此需要非常低的學習率來平均點梯度隨時間的變化。

最後，由於是單像素點渲染，當相機離物體太近或點雲非常稀疏時，可能會出現孔。這是因為神經網路結構只能填補一定大小閾值的洞。在實驗中，研究人員通過人為地增加點密度來減少這個問題。然而，這並不是一個普遍可行的解決方案，因為在自由視圖環境中，用戶仍然可以任意移動相機以靠近物體表面。研究人員表示，他們未來的工作應該會從這裡開始，例如，可以嘗試在放大過程中動態生成具有內插神經描述符的新點。

雷鋒網