Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
研究人员提出名为"Semantic Overlays"的新技术,通过在小模型残差流中应用预训练适配器来缓解提示注入攻击。该技术利用非文本通道为输入片段添加身份标注,使模型无法仅凭文本混淆片段来源。与传统的引导向量不同,该方法具有可训练、可自适应及选择性应用的特点,能编码复杂语义重塑模型对特定片段的感知。实验显示,在五个提示注入基准测试中,SEP 分离率从 24.3% 提升至 99.0%,TensorTrust 攻击成功率降至 6.2%,AlpacaFarm 攻击成功率归零,且标记片段保持可读性(字符相似度超 95%)。