六人利用 AI“越狱”生成淫秽物品最终获刑，法官提醒“技术中立≠技术无罪”

2026 年 9 月 8 日，浙江省余姚市人民法院审结一起利用生成式 AI 制作淫秽物品牟利案。被告人郑某等六人组建团队，通过改写系统提示词、设定角色卡等方式突破大模型安全限制，将通用 AI 工具转化为输出违法内容的犯罪工具。该非法运营的 AI 模型于 2025 年 1 月在境外上线，期间生成静态图片超 37 万张、动态图片超 6000 张，其中被认定为淫秽物品约 9000 多张静态图和 5000 多张动态图，用户充值金额达 24000 美元。法院认定六人构成制作淫秽物品牟利罪，并指出“技术中立”不是违法犯罪的挡箭牌，开发者主动篡改模型安全机制、对违法内容生成具备实质性控制力的，应承担刑事责任。