ReVision框架实现密集视觉感知

发生了什么

据arXiv论文，ReVision提出基于冻结多模态模型与图像生成器的指令条件参数生成框架。该框架将图像与自由文本指令编码为表示，由可训练参数生成器映射为瞬态低秩更新，实现实例特定适配。共享RGB输出接口统一分割、深度估计和表面法线预测，无需任务特定头部或适配器。在密集预测基准上，ReVision达到具有竞争力的性能，并支持通过自然语言灵活指定任务。