嘗試混搭，告別格子衫，這個GAN幫你展示真人高清混搭效果

• 2019 年 10 月 4 日
• 筆記

本文轉載自：機器之心 參與：韓放、張倩

作者：Gokhan Yildirim等

夏去秋來，又到了沒有衣服穿的季節。看上一件夾克，但是不知道它和你的格子襯衫搭不搭？沒關係，來自德國 Zalando Research 研究所的研究者把 Style GAN 修改了一下，可以幫你展示出指定單品混搭後穿在模特身上的高清效果，還能指定特定姿勢。用這個技術開發個虛擬換裝 APP，何愁沒有女朋友？

鏈接：https://arxiv.org/pdf/1908.08847.pdf

時尚電子商務平台通過搜索和個性化來簡化服裝購買。可視化試衣可以進一步提升用戶體驗。之前的研究主要集中在給現有影像上的時裝模特換裝 [5,2] 或基於給定姿態和服裝顏色從頭開始生成低解析度影像 [8]。本文專註於生成時裝模特穿著所需服裝以及保持特定姿態的高解析度影像。

近年來，生成對抗網路（GAN）[1] 的進步使得研究者可以通過隱式生成建模對真實影像進行取樣。其中一個改進是 Style GAN [7]，其創意在於使用 Progressive GAN [6] 生成高解析度影像，並通過自適應實例歸一化（AdaIN）[4] 對其進行修改。在本文中，基於模特服裝姿態影像數據集，作者應用並修改了 Style GAN：首先在一組時裝模特影像上訓練了原始 Style GAN，結果表明可以將一個生成的時裝模特的服裝顏色和身體姿態遷移到另一個；其次，作者修改了 Style GAN 以適應服裝和人體姿態的生成過程。這使得在不同的身體姿態和體型下快速可視化訂製服裝成為可能。

圖 1：來自數據集的樣本（紅色標記代表提取的關鍵點）。

服裝數據集

作者使用具有約 380K 條目的專有影像數據集。數據集中的每個條目都包含一個穿著特定服裝的特定姿態時裝模特。一套服裝最多有 6 個單品。為了獲得身體姿態，作者使用深度姿態估計器提取了 16 個關鍵點 [10]。圖 1 可視化了數據集中的部分樣本。時裝模特上的紅色標記代表提取的關鍵點。模特和單品影像都具有 1024×768 的解析度。

實驗

unconditional Style GAN 的流程如圖 2（a）所示。模型有 18 個生成器層，它們的輸入為用於自適應實例歸一化的樣式向量的仿射變換副本。鑒別器與原始 Style GAN 相同。作者在四個 NVIDIA V100 GPU 上訓練這個網路，訓練了 160 個 epoch，花費大約四周時間。

圖 2a： unconditional GAN 的流程圖

在 conditional 版本中，作者使用嵌入網路修改 Style GAN，如圖 2（b）所示。該網路的輸入是六個單品影像（總共 18 個通道）和一個 16 通道的熱度圖，其中熱度圖是根據 16 個關鍵點計算出來的。單品影像根據固定排序連接，以便得到跨服裝語義一致性。排序如圖 1 所示。

圖 2b：conditional GAN 流程圖。

如果一套服裝沒有特定語義類別的單品，那麼它將填充一個空的灰色影像。嵌入網路創建 512 維向量，其與潛在向量連接以產生樣式向量。該模型也訓練了四周（115 個 epoch）。conditional 模型中的鑒別器使用單獨的網路來計算輸入單品和熱度圖的嵌入向量，進而使用 [9] 中的方法計算最終得分。

Unconditional

在下圖 3 中，作者展示了由 unconditional 模型生成的影像。可以看到，不論是單品還是人體部位實際上都是以 1024×768 像素的最大解析度生成的。在訓練期間，可以通過切換某些層的樣式向量來正則化生成器。這一操作實現了影像間的資訊遷移。

圖 3：由 unconditional Style GAN 生成的模特圖

在下圖 4 中，作者給出了兩個資訊遷移示例。首先，將相同的源樣式向量傳播到生成器的第 13 到 18 層（在圖 2 中的仿射變換之前），它將源服裝的顏色傳遞給目標生成影像，如圖 4 所示。如果複製源樣式向量到低層，可以實現姿態遷移。

圖 4：將服裝顏色或身體姿態遷移到各個生成模特。

表 1 展示了傳播源和目標樣式向量的層，以實現所需的遷移效果。

表 1：用於傳播樣式向量的層。

Conditional

訓練好 Conditional 模型後，可以輸入一組所需的單品和一個特定姿態來可視化穿衣效果，如圖 5 所示。圖 5（a）和（b）為用於生成影像的兩套服裝，圖 5（c）和（d）為隨機挑選四種姿態所生成的模特圖。可以觀察到單品在生成的人體上正確呈現，並且姿態在不同的服裝中是一致的。圖 5（e）展示了通過將夾克從第一套服裝添加到第二套服裝後生成的可視化影像。可以看到牛仔夾克的紋理和大小在時裝模特上正確呈現。要注意的是，由於數據集中的偽相關性，生成模特的臉可能會隨服裝和姿勢而變化。

圖 5：兩套不同的服裝（a）和（b）用於生成（c）和（d）中的模特圖。（e）套裝＃1 的夾克被添加到套裝＃2 以訂製可視化。

考慮到性別、身材和體重的差異，數據集中包含了各種體型的時裝模特。所提取關鍵點之間的相對距離隱式地表示了這種差異。conditional 模型能夠捕獲和再現不同體型的時裝模特，如圖 5 中第四個生成影像所示。這一結果非常振奮人心，該方法在未來可能會通過虛擬穿戴應用擴展至更多用戶。

定量結果

作者通過計算 unconditional 和 conditional GAN 的 Frechet 初始距離（FID）得分 [3] 來評估生成影像的品質。從表 2 可以看出，unconditional GAN 可以產生更高品質的影像，這一結論可以通過比較圖 3 和圖 5 來得出。conditional 判別器還有檢查輸入服裝和姿態是否正確生成的附加任務。這可能導致影像品質（或「真實性」）與直接控制生成服裝和姿態能力之間的權衡。

表 2：模型 FID 得分