1、2019 KE.COM ALL COPYRIGHTS RESERVED1FloorNet&GAN基于点云的户型图重建方法2019 KE.COM ALL COPYRIGHTS RESERVED3目的 输入为点云，输出为户型图（的一部分）目前的目标为帮助摄影师画出一部分墙面，不包括门窗与功能间 要求：错误的墙面尽量少，宁缺毋滥 误差：不超过10cm 评价指标：召回率预测正确的墙面数量/真实的墙面数量错误率预测错误的墙面数量/预测的墙面数量距离分类仅针对正确的墙面精确匹配预测墙面与真实墙面的距离小于5cm不精确匹配预测墙面与真实墙面的距离在5cm-10cm之间过远匹配预测墙面与真实墙面的距离大于10

2、cm2019 KE.COM ALL COPYRIGHTS RESERVED42019 KE.COM ALL COPYRIGHTS RESERVED4FloorNet 算法简介2019 KE.COM ALL COPYRIGHTS RESERVED5网络结构2019 KE.COM ALL COPYRIGHTS RESERVED6网络结构 三个分支：PointNet，FCN，Image PointNet：输入为点云（9*50000），直接在上面进行卷积等操作 FCN：输入为俯视的点云密度图，有skip connection Image：Dilated residual network&stacked

3、 hourglass CNN 每个分支的每一层之间共享特征2019 KE.COM ALL COPYRIGHTS RESERVED7训练数据 输入：点云9*50000（经过降采样）、图像特征（现在没有）输出：角点的热力图（21种）、功能间的热力图、物品的热力图（现在没有）角点：墙13种（I、L、T、X）、门窗4种、物品4种2019 KE.COM ALL COPYRIGHTS RESERVED8网络输出2019 KE.COM ALL COPYRIGHTS RESERVED9问题 数据缺失：没有图像特征数据、没有物品数据2019 KE.COM ALL COPYRIGHTS RESERVED10改进

4、将点数从50000增加至200000，边长从256增至512 对网络进行简化，只保留FCN部分2000005122019 KE.COM ALL COPYRIGHTS RESERVED11结果：还不错 模型缩小，训练速度加快 性能并没有降低太多（论文里其实已经给出对比结果了）召回率：88.68%错误率：7.54%精确匹配：71.61%不精确匹配：21.04%过远匹配：7.34%2019 KE.COM ALL COPYRIGHTS RESERVED12结果：正确2019 KE.COM ALL COPYRIGHTS RESERVED13结果：正确2019 KE.COM ALL COPYRIGHTS

5、RESERVED14结果：正确2019 KE.COM ALL COPYRIGHTS RESERVED15结果：有缺少&错误的墙面2019 KE.COM ALL COPYRIGHTS RESERVED16结果：有缺少&错误的墙面2019 KE.COM ALL COPYRIGHTS RESERVED17结果：无法正确预测不封闭的墙面2019 KE.COM ALL COPYRIGHTS RESERVED18结果：无法正确预测不封闭的墙面2019 KE.COM ALL COPYRIGHTS RESERVED19结果：无法正确预测不封闭的墙面2019 KE.COM ALL COPYRIGHTS RESE

6、RVED20问题 网络输出结果通过一系列复杂规则转化为矢量的户型图（利用Gurobi建模）代码冗长，维护不便；且规则严苛，经常出现重建失败的情况 所有房间必须封闭、无法重建斜向墙面等2019 KE.COM ALL COPYRIGHTS RESERVED212019 KE.COM ALL COPYRIGHTS RESERVED21基于GAN的户型图重建算法2019 KE.COM ALL COPYRIGHTS RESERVED22对抗生成网络简介 GAN的基本原理非常简单，这里以生成图片为例进行说明。假设我们有两个网络G和D：G是一个生成图片的网络，它通过一个随机噪声噪声生成图片。D是一个判别网络

7、，判别一张图片是不是“真实的”。在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。最后博弈的结果是什么？在最理想的状态下，G可以生成足以“以假乱真”的图片。对于D来说，它难以判定G生成的图片究竟是不是真实的。这样我们就得到了一个生成式的模型G，它可以用来生成图片。2019 KE.COM ALL COPYRIGHTS RESERVED23GAN的一种实现：pix2pix 像素与像素对应的图片风格转换2019 KE.COM ALL COPYRIGHTS RESERVED24GAN的一

8、种实现：pix2pix 像素与像素对应的图片风格转换 恰好用于生成户型图？2019 KE.COM ALL COPYRIGHTS RESERVED25数据准备 考虑到俯视的点云密度图中会丧失点的高度信息，因此将点云按照高度（00.3、0.30.7、0.71）划分为3份，分别填入RGB图像的三个通道中（因为图像数据只有3个通道）去掉小于50的像素以抑制噪声 点云密度图的分辨率为512*512像素，因为pix2pix网络的原始输入为256像素，虽然输入大小不受限制，但是如果继续扩大则会因为网络容量的限制而导致性能下降 墙面使用白色，宽度为4像素，如果再细，则输入与输出差距不明显，难以训练 墙面直接绘

9、制在点云密度图上，直接绘制在空白图像中效果不佳，考虑是点云引入了一定的参考信息2019 KE.COM ALL COPYRIGHTS RESERVED26训练结果 点云输入 预测值 真实值2019 KE.COM ALL COPYRIGHTS RESERVED27矢量化？2019 KE.COM ALL COPYRIGHTS RESERVED28墙面提取结果2019 KE.COM ALL COPYRIGHTS RESERVED29端点调整结果2019 KE.COM ALL COPYRIGHTS RESERVED30结束了吗？还可进一步优化2019 KE.COM ALL COPYRIGHTS RESE

10、RVED316.删除重叠的墙 两个距离过近的有重叠部分的墙面会被删除其中一个2019 KE.COM ALL COPYRIGHTS RESERVED32删除单独的墙 不与任何墙面有连接的墙面会被删除2019 KE.COM ALL COPYRIGHTS RESERVED33增加墙面 将孤立的墙面端点与离它最近的墙面相连2019 KE.COM ALL COPYRIGHTS RESERVED34结果：不如FloorNet 因为可以调节各个算法的阈值，所以最终结果是可以改变的。而召回率与错误率是相伴相随的，即召回率升高时错误率也会随之上升，反之亦然。2019 KE.COM ALL COPYRIGHTS

11、RESERVED35结果2019 KE.COM ALL COPYRIGHTS RESERVED36结果2019 KE.COM ALL COPYRIGHTS RESERVED37结果2019 KE.COM ALL COPYRIGHTS RESERVED38结果2019 KE.COM ALL COPYRIGHTS RESERVED39结果2019 KE.COM ALL COPYRIGHTS RESERVED40算法对比 FloorNet的输入为9*200000的点云，而GAN的输入为512*512*3的图片，因此GAN的准确率低在情理之中 FloorNet可能会出现重建失败的情况，而GAN无论如何

12、都会输出一些结果 FloorNet比GAN的速度慢 都无法重建非水平竖直的墙面影响准确率的原因 强光下的点云信息缺失 卧室的柜子覆盖了整面墙，使得原始墙面的位置没有点云 户型图标注标准不统一（是否标注墙角的柱子等）户型图精度不足（训练集的精度就无法达到5厘米）2019 KE.COM ALL COPYRIGHTS RESERVED41改进方向 FloorNet：（1）去掉功能间和门窗的loss（2）不使用已有的矢量化代码，自己从网络的输出提取结果以提高重建成功率（3）后续尝试在网络中补全物品位置和图像特征的信息 GAN：（1）增加点云密度切分的层数以增加数据量，或将输入从点云密度图改为模型俯视图（2）将阈值由像素改为真实距离（3）不断优化对网络输出矢量化的各种策略2019 KE.COM ALL COPYRIGHTS RESERVED43