优化训练数据降低提示注入探针误报率

发生了什么

据arXiv cs.CL研究，线性探针用于监控间接提示注入，但易受对话位置等干扰产生误报。研究通过添加匹配负样本（无注入对话或格式相似的无害文本）优化训练数据。在六个开放模型中，仅改变训练数据便将无注入对话的误报率从41-80%降至4-27%，对相似无害文本的误报从92-98%降至3-16%。同时保持95%的攻击检出率，且在新应用中误报依然较低。