利用语音基础模型语言选择维度实现语码转换检测

发生了什么

据arXiv cs.CL报道，研究提出一种轻量级方法，利用预训练语音编码器中的帧级语言信息直接检测语码转换（CS）。通过识别单语录音中的语言选择性隐藏状态维度并聚合激活值，Whisper-small编码器在CS-FLEURS数据集上实现了0.798的平均F1分数，优于CNN和HuBERT基线。