SenseAlign提出测试时模态加权与特征校正方法

发生了什么

据arXiv cs.CV报道，SenseAlign方法通过共享语义参考实现测试时模态加权与特征校正，旨在解决触觉视觉语言模型在部署中因光照、接触质量或传感器硬件变化导致的模态不可靠与性能下降问题。该方法通过比较累积观测与候选类文本嵌入，识别模态可靠性差异，并使用相同类文本嵌入拟合共享特征校正，以分离预测类与替代类。实验表明，该方法在自然变化和控制性损坏下均表现出强识别性能。