研究显示TypeSafe AI决策模型Jev仍可通过间接提示注入被操控

发生了什么

The Register报道，HiddenLayer安全公司评估TypeSafe AI的Jev决策模型，发现其仍可通过间接提示注入被操控。尽管Jev声称不能幻觉且从不犯类型错误，但HiddenLayer研究人员指出，System One模型底层仍是LLM，面临与自回归模型相似的风险。测试显示，通过模拟在线商店和恶意广告，可以诱导Jev点击按钮而非执行购买指令。攻击同样适用于Qwen模型调优为决策模型的情况。研究人员认为，返回决策的模型仍是语言模型，其决策会成为系统中的动作，因此需谨慎对待。