3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了之前的 3D 编辑工作。

近三年来，3D 编辑领域的工作普遍聚焦于 NeRF（神经辐射场），这是因为 NeRF 不仅能高保真地完成 3D 场景建模，而且其隐式特性极大地提高了可扩展性，相较点云、网格等传统方法有着显著的优势。然而 NeRF 依赖高维多层感知网络（MLP）对场景数据进行编码，这也带来了一定限制。它难以直接修改场景的特定部分，同时在图像修复和场景组合等任务上增加了复杂性。这种复杂性不仅影响了训练过程，也制约了其在实际应用中的应用。

GaussianEditor 为了解决上述问题，另辟蹊径，选择了高斯溅射（Gaussian Splatting）作为其 3D 表示。Gaussian Splatting 是半年前提出的一种新型 3D 表示，该表示已经在 3D，4D 重建等多项 3D 任务上超越了 NeRF，刚面世就引发了 3D 领域广泛的关注，是今年 3D 领域最大的突破之一。Gaussian Splatting 表示具有极好的前景和潜力， GaussianEditor 更是首个实现了对这种 3D 表示完成编辑的工作。该项目已开源，并提供了 WebUI 界面，便于学习和使用。

Gaussian Splatting 虽然有着高效的渲染算法，但其作为显示表示，对其的编辑存在着不小的挑战。一个主要问题是缺乏有效的方法准确识别编辑目标，这对于精确可控的编辑至关重要。此外，已有研究表明，使用高度随机的生成指导（如 Stable Diffusion 等生成扩散模型）优化 Gaussian Splatting（GS）会遇到重大挑战。这可能是因为 GS 直接受到损失中随机性的影响，与神经网络缓冲的隐式表示不同。这种直接暴露导致更新不稳定，训练过程中高斯点的属性直接改变。此外，GS 的每个训练步骤可能涉及大量高斯点的更新，而这一过程没有神经网络风格的缓冲机制。这些问题会导致 GS 的过度流动性阻碍了其在训练中向隐式表示那样的精细结果收敛。

为了解决上述问题，团队首先引入了高斯语义追踪来完成对 Gaussian Splatting（GS）的精确控制。高斯语义追踪在训练过程中始终能够识别出需要编辑的高斯点。这与传统的 3D 编辑方法不同，后者通常依赖于静态的 2D 或 3D 掩码。随着 3D 模型的几何形状和外观在训练中的变化，这些掩码的会逐渐失效。高斯语义追踪则是通过将 2D 分割掩码投影到 3D 高斯点上并为每个高斯点分配语义标签来实现训练全程的追踪。随着训练过程中高斯点的变化，这些语义标签使得能够追踪到特定的目标高斯点。高斯语义追踪算法能确保只有目标区域被修改，从而实现精确和可控的编辑。

此外，为了应对 Gaussian Splatting（GS）在高度随机的生成指导下难以实现精细结果的重大挑战，GaussinEditor 采用一种新的 GS 表示方式：层次化高斯溅射（Hierarchical Gaussian Splatting，HGS）。在 HGS 中，高斯点根据它们在训练过程中的稠密化的顺序被组织成不同的世代。在较早的稠密化过程中形成的高斯点被视为较老的世代，它们受到更严格的约束，目的是保持它们的原始状态，从而减少它们的流动性。相反，后期阶段形成的高斯点被视为较年轻的世代，受到较少或没有约束，以提高其适应性。HGS 的设计有效地调节了 GS 的流动性，通过对较老的世代施加限制的同时保持了较新世代的灵活性。这种方法使得持续优化朝向更好的结果成为可能，从而模拟了隐式表示中通过神经网络实现的缓冲功能。

GaussianEditor 在此基础上提出了高斯溅射表示的增、删算法。在删除目标方面，该团队开发了一种专门的局部修复算法，能有效地消除了对象与场景交界处的伪影。在添加目标方面，GaussianEditor 能根据用户提供一个的文本提示和 2D 掩码来为指定区域添加指定目标。GaussianEditor 先借助 2D 图像 Inpainting 算法生成要添加的对象的单视图图像。然后，通过 Image to 3D 的算法将该图像转换成一个 3D GS。最后将该目标并入到高斯场景中。

在对比实验上，GaussianEditor 在视觉质量，量化指标，可控性，生成速度上都大幅度超过了之前的工作。