结构化的室内场景建模——介绍

• 2019 年 10 月 7 日
• 筆記

从这篇文章开始，我将开启新系列文章——结构化的室内场景建模。这是我的博士研究课题。目前，在这个领域，国际上有两个教授做的最好。第一个就是三维重建领域的大神 Furukawa 副教授，任教于 Simon Fraser University。另一个是苏黎世大学的 Renato Pajarola 教授，Eurographics Fellow。因为我的导师跟这个教授的关系，我们在室内场景建模方面的研究主要是跟着这位教授做。上个星期，这位教授还被我们导师邀请来学校做了关于室内场景建模的讲座，受益匪浅。

接下来的几个月，我将会用几十篇文章来详细讲解 Furukawa 副教授发表于 2015 ICCV 的 Structured Indoor Modeling [1]论文。该论文作者也将代码和数据都公开了。其中代码有 Matlab 和 C++ 两种。

Structured Indoor Modeling Project Website https://www2.cs.sfu.ca/~furukawa/sim/

Structured Indoor Modeling C++ Code https://github.com/furukawa00000/2015_structured_indoor_modeling

这篇文章实现起来并不难，也不涉及很难的算法。我个人也独立使用 C++ 实现了这篇论文。在我的文章中，我将基于个人实现的代码来讲。

关于结构化的室内场景建模，在实际生活中有什么应用呢？

不知道你们有没有用过 贝壳找房 这个APP。

如上Gif，我们可以在这个APP中看到所选房源的3D模型和2D房型图。当然，可以通过大量人力手工标注房型。而 Structured Indoor Modeling [1]这篇论文讲的就是如何自动生成房型图的算法。

这篇论文以一层楼的点云为输入。

这种点云是通过类似于 Matterport 这种专用于室内场景扫描的设备。

Matterport https://matterport.com/

这种设备就是放在房间的某一个位置，然后上面这个模组镜头旋转 360 度，输出一张全景 RGB-D 深度图，也就是该设备拍摄的当前场景的点云。

算法输出 2D房型图 + 3D房型图。

如上图，第一行是输入一层楼的点云，第二行是输出的3D房型图，第三行是通过结构化的语义信息优化的室内场景模型。

乍一看，这篇论文的效果是很不错的。可是这篇论文有很大的限制。

这篇论文的算法只能处理一层楼的点云，并且，这层楼的各个房间的结构需要符合 Manhattan 结构。

Manhattan 结构就是那种横平竖直，方方正正的结构。大家可以想象一下美国 Manhattan 这个地方，是不是方方正正的街道线路？

Renato 教授发表于 2016 Computer Graphics Forum 的论文 Piecewise-planar Reconstruction of Multi-room Interiors with Arbitrary Wall Arrangements [2]提出了不再受 Manhattan 结构限制的算法。

论文 [1] [2] 基本算是使用传统几何算法的最后几篇论文。近年，使用传统几何算法的论文还有 2016 ECCV 的论文 Manhattan-World Urban Reconstruction from Point Clouds [3]，Renato 教授发表于 2017 Siggraph 的论文 Exploiting the Room Structure of Buildings for Scalable Architectural Modeling of Interiors [4] 算是最后一篇使用传统几何算法进行结构化场景建模的文章。

在室内场景建模领域中，最新的论文都是基于深度学习得到房型图。比如 Furukawa 副教授近几年发表的论文 Raster-to-Vector [5], FloorNet [6], Floor-SP[7]。

比较有趣的是，Furukawa 副教授的这些文章几乎都是贝壳找房提供的资助，而据一篇对贝壳找房算法团队负责人的采访，也证实 Furukawa 的多项研究工作已被应用在贝壳找房算法。

InfoQ：整个研发过程主要经历了哪几个阶段？分别遇到了哪些痛点又是如何解决的？ 潘慈辉：具体来说，第一阶段主要是数据采集和标注，这是贝壳找房的优势所在；第二阶段是算法研发部分，该阶段有 Furukawa 教授作为坚强后盾；第三阶段主要是与具体业务场景和案例结合，由算法和研发团队不断更新迭代，进而达到更好的效果。 InfoQ：在这个过程中，贝壳找房运用了哪些开源技术？ 潘慈辉：户型图这边的第一个版本是 Furukawa 教授的研究成果，教授本人目前已经将该技术成果开源，但在此之后，如视团队已经基于该成果进行了研发改进，这可以算做是一个开源技术的应用。 https://www.toutiao.com/a6692759976454128131/?tt_from=mobile_qq&utm_campaign=client_share×tamp=1568708546&app=news_article&utm_source=mobile_qq&utm_medium=toutiao_ios&req_id=20190917162226010014047037020562BB&group_id=6692759976454128131

按照这位算法负责人的说法，应该是我们刚才提到的 Structured Indoor Modeling [1]。

InfoQ：您可以简单介绍一下贝壳找房的户型图自动生成功能主要用到了哪些人工智能技术？取得了什么样的效果？ 潘慈辉：贝壳找房的户型图自动生成算法主要用到深度学习网络、GAN 网络和一些优化框架，在整个户型图自动生成过程也尝试了很多最新、最前沿的算法。目前已经可以在很大程度上缓解了之前摄影师手工标注的痛苦，已经做到很大的效率提升。 在算法层面，我们主要是跟海外高校合作，比如 Furukawa 教授在 2018 年和 2019 年的一些论文成果，都在户型图算法里面得到应用和体现。 https://www.toutiao.com/a6692759976454128131/?tt_from=mobile_qq&utm_campaign=client_share×tamp=1568708546&app=news_article&utm_source=mobile_qq&utm_medium=toutiao_ios&req_id=20190917162226010014047037020562BB&group_id=6692759976454128131

按照这位算法负责人的说法，应该是 Furukawa 副教授发表于 2018 ECCV 的 FloorNet [6] 和 2019 ICCV 的 Floor-SP [7]。

所以，不管从学术方面还是工业方面，我将要写的 Structured Indoor Modeling 系列文章，还都是很有意义的。

引用

[1] Ikehata S, Hang Y, Furukawa Y. Structured Indoor Modeling[C]// IEEE International Conference on Computer Vision. 2015.

[2] Mura C , Mattausch O , Pajarola R . Piecewise-planar Reconstruction of Multi-room Interiors with Arbitrary Wall Arrangements[J]. Computer Graphics Forum, 2016, 35(7):179-188.

[3] Li M , Wonka P , Nan L . Manhattan-World Urban Reconstruction from Point Clouds[C]// ECCV. Springer International Publishing, 2016.

[4] Mura C , Pajarola R . [ACM Press ACM SIGGRAPH 2017 Posters – Los Angeles, California (2017.07.30-2017.08.03)] ACM SIGGRAPH 2017 Posters on, – SIGGRAPH "17 – Exploiting the room structure of buildings for scalable architectural modeling of interiors[J]. 2017:1-2.

[5] Liu C , Wu J , Kohli P , et al. Raster-to-Vector: Revisiting Floorplan Transformation[C]// 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017.

[6] Chen L, Wu J, Furukawa Y. FloorNet: A Unified Framework for Floorplan Reconstruction from 3D Scans[C]// ECCV. Springer International Publishing, 2018.

[7] Chen J, Liu C , Wu J, Furukawa Y. Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path[C]// 2019 IEEE International Conference on Computer Vision (ICCV). IEEE, 2019.