ACT3D通过强化学习提升3D视觉语言模型能力

发生了什么

Hugging Face Papers报道，ACT3D通过结果导向强化学习训练视觉语言模型，在3D环境中从单目第一人称视角主动探索，提升答案准确率。模型无需多视角输入，仅使用单次渲染图像作为交互环境，通过迭代推理、导航和重定向视角进行回答。在六个3D基准测试中，ACT3D平均准确率达53.2%，较基础模型Qwen提升22.0%，超越Gemini 3.6 Flash。它还优于开源3D方法，输入帧减少50-70%，并泛化到新领域，平均提升5.9%。分析显示其探索策略具适应性，根据问题需求调整，如搜索遮挡目标、避免冗余探索、获取空间比较视角。