基于潜在空间探针的扩散式音乐生成中的 Pitch-class 引导方法

研究人员在 arXiv 发布论文，提出一种基于卷积探针的轻量级方法，用于引导基于扩散模型的音频生成。该方法通过训练约 12.5 万个参数的冻结卷积探针，利用配对音频和 MIDI 数据解码潜在空间中的帧级音高类别激活。在推理阶段，该探针作为可微损失函数，其相对于去噪潜变量的梯度将生成过程引导至用户指定的音高序列，无需重新训练或修改基础模型架构。在涵盖 9 个文本提示和 3 个目标旋律的 27 次评估试验中，该方法生成的旋律连贯性较未引导基线提高了 2.4 倍（p < 1e-5），证明了扩散式音乐潜在空间中可恢复且可控制的音乐意义结构。