研究：空间问答学习提升新视角生成

发生了什么

据arXiv cs.CV论文《Can Learning to Answer Spatial Questions Improve Novel-View Generation?》报道，研究者引入Ask4NV模型，利用预训练统一多模态模型和混合Transformer架构，通过空间问答学习提升新视角生成能力。该模型将相机几何结构融入VAE和ViT表示，并通过联合自注意力机制利用理解特征。实验表明该方法在图像质量和几何一致性方面表现强劲，并改善了跨视图对应关系。