TFO框架实现冻结视语言模型免训练语音理解

发生了什么

据Hugging Face Papers发布，TFO（Training-Free Omni）框架通过模块化转录路由，使冻结的视语言模型（VLM）无需重训练或架构修改即可具备语音视听理解能力。该框架利用Whisper提取带时间戳的转录内容，并将其路由至VLM的语言接口，同时保持视觉路径不变。研究显示，TFO在56个基准测试中表现具有竞争力，且在保留VLM原有视觉、推理及多模态能力方面优于原生全能模型。