前段时间东北大学联合Stability AI
发表了一项新技术：HouseCrafter，
能够将房子的平面图转成完整的3D室内场景！
方法的核心是一个 2D 扩散模型，
它可以生成场景的一致多视图 RGBD 图像
进而生成3D模型预览
相关链接
论文地址：https://arxiv.org/abs/2406.20077
代码地址：https://github.com/google/placeholder（即将开源）
论文阅读
摘要
我们推出了 HouseCrafter，这是一种新颖的方法，可以将平面图提升为完整的大型 3D 室内场景（例如房屋）。
我们的主要见解是调整在网络规模图像上训练的 2D 扩散模型，以在场景的不同位置生成一致的多视图颜色 (RGB) 和深度 (D) 图像。具体来说，RGB-D 图像以分批方式自回归地沿着基于布局图的采样位置生成，其中先前生成的图像用作扩散模型的条件以在附近位置生成图像。扩散模型中的全局布局图和注意力设计确保了生成的图像的一致性，从中可以重建 3D 场景。
通过对 3D-Front 数据集进行广泛的评估，我们证明了 HouseCraft 可以生成高质量的房屋规模 3D 场景。我们将发布我们的代码和模型权重。
方法
我们的方法首先生成场景的多视图二维观测，然后以三维形式重建。我们训练一个可以使用 RGBD 图像执行新视图合成的扩散模型。具体来说，该模型从附近位置获取多张 RGBD 图像，并将编码的平面图作为条件，然后输出一批彼此一致且符合条件的 RGBD 图像。
我们方法的核心是一个 2D 扩散模型，它可以生成场景的一致多视图 RGBD 图像。我们的模型架构灵感来自 SOTA 以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。首先，我们将参考条件和图像生成都更改为 RGB-D 设置，而不是仅 RGB，因为 RGB-D 图像为 3D 场景重建提供了强有力的线索。其次，我们在每个 unet 块的开头插入一个布局注意层，以鼓励生成的图像忠实于平面图，确保在生成房屋规模场景时具有全局一致性。此外，交叉注意层（在先前的作品中为参考新颖视图注意而引入）已更新为利用参考深度的几何形状，从而生成更高质量的图像。
效果
用户可以通过移动平面图上的家具来轻松编辑场景的布局。生成的场景也会相应改变。
虽然目前来看
生成的实际模型效果精度还很低
但如果能建立一个完整的室内设计预设模型库
进行实时调用。
未来作为室内设计快速布局预览、
与客户沟通布局也许是个不错的选择。
（其实咱们国内已经有类似的成熟产品，
知道的模友可以分享在评论区）
这3D建模太丝滑了吧！一看就懂，快打开软件，我感觉我现在强的可怕！
