Learning 3D Editing without Paired Supervision via Generative Prior Distillation
本文提出一种无需配对监督即可学习前馈 3D 编辑的新框架，通过生成式先验蒸馏技术解决高质量配对训练数据稀缺问题。该方法不依赖真实 3D 配对数据，而是将视觉、语义及几何知识从基础模型蒸馏至 3D 编辑模型中。具体而言，利用可微渲染管线，结合主编辑视角的图像编辑模型提供的 2D 视觉先验与新颖视角的视觉 - 语言模型提供的语义先验进行监督，以确保严格遵循指令并保留源身份。针对 2D 投影监督固有的几何坍塌和多视图不一致问题，引入 3D 感知分布匹配正则化作为几何先验，约束编辑输出保持在由预训练图像到 3D 教师模型定义的现实 3D 资产流形内。实验表明，该方法在指令保真度和跨视图一致性方面表现优异，显著优于现有最先进基线。项目代码已开源：https://github.com/thiamine128/PriorE…