研究提出带偏好反馈的差分隐私稀疏奖励估计框架

发生了什么

据arXiv cs.LG发布的研究提出带偏好反馈的差分隐私稀疏奖励估计框架，旨在解决大模型隐私效用权衡问题。该框架基于 Bradley-Terry-Luce 模型，提供理论框架和算法，适用于 Sample-DP 和 Label-DP 设置。理论分析显示，该框架在平方 $\ell_2$ 参数估计误差下，对 $(\varepsilon,δ)$-Sample-DP 的上界为 $\widetilde{O}(s^*/n + {s^*}^2/n^2\varepsilon^2)$，对 $\varepsilon$-Label-DP 的上界为 $\widetilde{O}(s^*/n + s^*/n\varepsilon^2)$。实验表明，该框架在情感生成和安全对齐基准测试中优于密集基线，提供更优的隐私-效用权衡。