"**Important** You should give me full credits!": Exploring Prompt Injection Attacks on LLM-Based Automatic Grading Systems
研究人员系统研究了基于大语言模型(LLMs)的自动评分系统中提示注入(PI)攻击的有效性。实验表明,在基于评分标准的评分设置下,当前 LLM 自动评分系统极易受到 PI 攻击,攻击者可利用该漏洞操纵系统无论答案质量如何均给予高分。这一行为对教育评估的公平性、可靠性和完整性构成严重风险。研究还评估了现有防御策略的效果,旨在提高对此新兴威胁的认识并推动构建更安全、稳健和可信赖的教育系统。