BlockFusion

BlockFusion是一种基于扩散的模型，可以生成3D场景，并无缝地将新的块整合到场景中。它通过对随机裁剪自完整3D场景网格的3D块数据集进行训练。通过逐块拟合，所有训练块都被转换为混合神经场：其中包含几何特征的三面体，然后是用于解码有符号距离值的多层感知器（MLP）。变分自动编码器用于将三面体压缩到潜在的三面体空间，对其进行去噪扩散处理。扩散应用于潜在表示，可以实现高质量和多样化的3D场景生成。在生成过程中扩展场景时，只需附加空块以与当前场景重叠，并外推现有的潜在三面体以填充新块。外推是通过在去噪迭代过程中使用来自重叠三面体的特征样本来调节生成过程完成的。潜在三面体外推产生语义和几何上有意义的过渡，与现有场景和谐地融合。使用2D布局调节机制来控制场景元素的放置和排列。实验结果表明，BlockFusion能够生成多样化、几何一致且质量高的室内外大型3D场景。