結構化的室內場景建模——介紹

• 2019 年 10 月 7 日
• 筆記

從這篇文章開始，我將開啟新系列文章——結構化的室內場景建模。這是我的博士研究課題。目前，在這個領域，國際上有兩個教授做的最好。第一個就是三維重建領域的大神 Furukawa 副教授，任教於 Simon Fraser University。另一個是蘇黎世大學的 Renato Pajarola 教授，Eurographics Fellow。因為我的導師跟這個教授的關係，我們在室內場景建模方面的研究主要是跟著這位教授做。上個星期，這位教授還被我們導師邀請來學校做了關於室內場景建模的講座，受益匪淺。

接下來的幾個月，我將會用幾十篇文章來詳細講解 Furukawa 副教授發表於 2015 ICCV 的 Structured Indoor Modeling [1]論文。該論文作者也將程式碼和數據都公開了。其中程式碼有 Matlab 和 C++ 兩種。

Structured Indoor Modeling Project Website https://www2.cs.sfu.ca/~furukawa/sim/

Structured Indoor Modeling C++ Code https://github.com/furukawa00000/2015_structured_indoor_modeling

這篇文章實現起來並不難，也不涉及很難的演算法。我個人也獨立使用 C++ 實現了這篇論文。在我的文章中，我將基於個人實現的程式碼來講。

關於結構化的室內場景建模，在實際生活中有什麼應用呢？

不知道你們有沒有用過 貝殼找房 這個APP。

如上Gif，我們可以在這個APP中看到所選房源的3D模型和2D房型圖。當然，可以通過大量人力手工標註房型。而 Structured Indoor Modeling [1]這篇論文講的就是如何自動生成房型圖的演算法。

這篇論文以一層樓的點云為輸入。

這種點雲是通過類似於 Matterport 這種專用於室內場景掃描的設備。

Matterport https://matterport.com/

這種設備就是放在房間的某一個位置，然後上面這個模組鏡頭旋轉 360 度，輸出一張全景 RGB-D 深度圖，也就是該設備拍攝的當前場景的點雲。

演算法輸出 2D房型圖 + 3D房型圖。

如上圖，第一行是輸入一層樓的點雲，第二行是輸出的3D房型圖，第三行是通過結構化的語義資訊優化的室內場景模型。

乍一看，這篇論文的效果是很不錯的。可是這篇論文有很大的限制。

這篇論文的演算法只能處理一層樓的點雲，並且，這層樓的各個房間的結構需要符合 Manhattan 結構。

Manhattan 結構就是那種橫平豎直，方方正正的結構。大家可以想像一下美國 Manhattan 這個地方，是不是方方正正的街道線路？

Renato 教授發表於 2016 Computer Graphics Forum 的論文 Piecewise-planar Reconstruction of Multi-room Interiors with Arbitrary Wall Arrangements [2]提出了不再受 Manhattan 結構限制的演算法。

論文 [1] [2] 基本算是使用傳統幾何演算法的最後幾篇論文。近年，使用傳統幾何演算法的論文還有 2016 ECCV 的論文 Manhattan-World Urban Reconstruction from Point Clouds [3]，Renato 教授發表於 2017 Siggraph 的論文 Exploiting the Room Structure of Buildings for Scalable Architectural Modeling of Interiors [4] 算是最後一篇使用傳統幾何演算法進行結構化場景建模的文章。

在室內場景建模領域中，最新的論文都是基於深度學習得到房型圖。比如 Furukawa 副教授近幾年發表的論文 Raster-to-Vector [5], FloorNet [6], Floor-SP[7]。

比較有趣的是，Furukawa 副教授的這些文章幾乎都是貝殼找房提供的資助，而據一篇對貝殼找房演算法團隊負責人的採訪，也證實 Furukawa 的多項研究工作已被應用在貝殼找房演算法。

InfoQ：整個研發過程主要經歷了哪幾個階段？分別遇到了哪些痛點又是如何解決的？ 潘慈輝：具體來說，第一階段主要是數據採集和標註，這是貝殼找房的優勢所在；第二階段是演算法研發部分，該階段有 Furukawa 教授作為堅強後盾；第三階段主要是與具體業務場景和案例結合，由演算法和研發團隊不斷更新迭代，進而達到更好的效果。 InfoQ：在這個過程中，貝殼找房運用了哪些開源技術？ 潘慈輝：戶型圖這邊的第一個版本是 Furukawa 教授的研究成果，教授本人目前已經將該技術成果開源，但在此之後，如視團隊已經基於該成果進行了研發改進，這可以算做是一個開源技術的應用。 https://www.toutiao.com/a6692759976454128131/?tt_from=mobile_qq&utm_campaign=client_share×tamp=1568708546&app=news_article&utm_source=mobile_qq&utm_medium=toutiao_ios&req_id=20190917162226010014047037020562BB&group_id=6692759976454128131

按照這位演算法負責人的說法，應該是我們剛才提到的 Structured Indoor Modeling [1]。

InfoQ：您可以簡單介紹一下貝殼找房的戶型圖自動生成功能主要用到了哪些人工智慧技術？取得了什麼樣的效果？ 潘慈輝：貝殼找房的戶型圖自動生成演算法主要用到深度學習網路、GAN 網路和一些優化框架，在整個戶型圖自動生成過程也嘗試了很多最新、最前沿的演算法。目前已經可以在很大程度上緩解了之前攝影師手工標註的痛苦，已經做到很大的效率提升。 在演算法層面，我們主要是跟海外高校合作，比如 Furukawa 教授在 2018 年和 2019 年的一些論文成果，都在戶型圖演算法裡面得到應用和體現。 https://www.toutiao.com/a6692759976454128131/?tt_from=mobile_qq&utm_campaign=client_share×tamp=1568708546&app=news_article&utm_source=mobile_qq&utm_medium=toutiao_ios&req_id=20190917162226010014047037020562BB&group_id=6692759976454128131

按照這位演算法負責人的說法，應該是 Furukawa 副教授發表於 2018 ECCV 的 FloorNet [6] 和 2019 ICCV 的 Floor-SP [7]。

所以，不管從學術方面還是工業方面，我將要寫的 Structured Indoor Modeling 系列文章，還都是很有意義的。

引用

[1] Ikehata S, Hang Y, Furukawa Y. Structured Indoor Modeling[C]// IEEE International Conference on Computer Vision. 2015.

[2] Mura C , Mattausch O , Pajarola R . Piecewise-planar Reconstruction of Multi-room Interiors with Arbitrary Wall Arrangements[J]. Computer Graphics Forum, 2016, 35(7):179-188.

[3] Li M , Wonka P , Nan L . Manhattan-World Urban Reconstruction from Point Clouds[C]// ECCV. Springer International Publishing, 2016.

[4] Mura C , Pajarola R . [ACM Press ACM SIGGRAPH 2017 Posters – Los Angeles, California (2017.07.30-2017.08.03)] ACM SIGGRAPH 2017 Posters on, – SIGGRAPH "17 – Exploiting the room structure of buildings for scalable architectural modeling of interiors[J]. 2017:1-2.

[5] Liu C , Wu J , Kohli P , et al. Raster-to-Vector: Revisiting Floorplan Transformation[C]// 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017.

[6] Chen L, Wu J, Furukawa Y. FloorNet: A Unified Framework for Floorplan Reconstruction from 3D Scans[C]// ECCV. Springer International Publishing, 2018.

[7] Chen J, Liu C , Wu J, Furukawa Y. Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path[C]// 2019 IEEE International Conference on Computer Vision (ICCV). IEEE, 2019.