Hugging Face攻击是一次关于AI风险的警醒
# Hugging Face 的攻击提醒我们关注人工智能带来的风险 最近对开源人工智能平台 Hugging Face 的攻击暴露了该公司安全实践中的严重漏洞,引发了人们对人工智能所带来的更广泛风险的担忧。 这次攻击利用了 Hugging Face 认证系统中的缺陷,使得未经授权的人员能够……
EVENT DOSSIER
研究揭示 Split-LLM 训练梯度泄露隐私漏洞,攻击者可精准还原真实数据行。
针对 Split-LLM(分拆大语言模型)训练系统的最新研究揭示严重隐私漏洞。尽管本地节点通过潜在空间瓶颈、高斯噪声及行顺序打乱等技术试图隐藏数据特征,但返回的梯度反向传播攻击成功绕过保护机制。由于损失函数忽略合成诱饵行导致其梯度为零,攻击者可通过检测零梯度模式精准识别并逆向工程出真实的私有数据行。实验显示,在九个种子实验中所有测试样本均被完全识别,且每百个 token 可恢复约一个额外 token。虽然对梯度进行截断和加噪理论上可缓解此问题,但现有系统仍未达到安全标准,因未涵盖跨训练步骤累积观察等五类潜在攻击场景。
AI · 中外媒体跨 3 天
研究揭示 Split-LLM 训练梯度泄露隐私漏洞,攻击者可精准还原真实数据行。
针对开源 AI 平台 Hugging Face 的最新攻击事件暴露了关键安全漏洞,引发对 AI 风险的广泛关注。
由于损失函数忽略合成诱饵行导致其梯度为零,攻击者通过检测零梯度模式即可精准识别并逆向工程出真实的私有数据行。
研究指出 Split-LLM 训练中,尽管使用了潜在空间瓶颈、高斯噪声和行顺序打乱等技术,但梯度反向传播攻击仍成功绕过保护机制。
# Hugging Face 的攻击提醒我们关注人工智能带来的风险 最近对开源人工智能平台 Hugging Face 的攻击暴露了该公司安全实践中的严重漏洞,引发了人们对人工智能所带来的更广泛风险的担忧。 这次攻击利用了 Hugging Face 认证系统中的缺陷,使得未经授权的人员能够……
一项针对两节点分拆大语言模型训练系统的隐私安全研究揭示,尽管系统通过了前向通道隐私检查与质量评估,但返回的梯度泄露了真实数据行。该研究中,受信任本地节点将保护后的激活值发送至不信任云端节点,后者返回输出后,本地节点再返回包含真实行与诱饵行的梯度;由于损失函数忽略诱饵行,其梯度为零,攻击者通过检测零模式即可识别真实行。在九个种子实验中,所有帧均被完全识别(4,096/4,096),攻击使每百个 token 恢复约一个额外 token,而随机标签对照组无泄露。研究人员证实,对梯度行进行截断和加噪可关闭此漏洞,但系统仍未安全,因未测量包括跨训练步骤累积观察在内的五类攻击。
在 Split-LLM 训练中,安全边界在于本地节点与云端之间的网络连接。尽管通过潜在空间瓶颈、高斯噪声(差分隐私)和行顺序打乱等技术成功隐藏了数据特征并防止云端识别真实数据,但梯度反向传播攻击仍构成核心漏洞。由于梯度本身包含改善模型所需的数学方向,且受限于训练预算的噪声量,攻击者可利用这些梯度逆向工程出私有标签或输入。此外,虽然空间匿名性通过混合真实行与合成诱饵得以实现,但时间累积效应使得云端能追踪统计异常以区分真假数据;同时,云端控制自身权重迫使本地节点返回高揭示性的放大梯度,从而绕过标准噪声保护机制。