作者测试检测训练数据中AI内容
发生了什么
据Towards Data Science文章,作者测试了三种方法检测电影评论数据集中的AI生成内容。研究发现,在捕获80%生成评论的设置下,嵌入密度也误标了47%的真实评论。结合三种检查过滤后,情感分类器准确率从67.5%降至57.5%。文章引用Liang等人的研究指出,ChatGPT发布后AI会议同行评审中有6.5%至16.9%的文本显示大量AI修改迹象。
- AI评审修改比例估计
- 6.5%至16.9%
- 过滤前模型准确率
- 67.5%
- 过滤后模型准确率
- 57.5%
- 嵌入密度误标率
- 47%
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- Towards Data Science自动改写/传播记录
AI Slop Is in Your Training Dataset Now. I Tested Three Ways to Spot It.
来源关系与证据边界
按已记录的来源角色展示;连线仅表示原生身份流程确认的同稿入口,不表示独立佐证或跨报道引用。
- 来源报道1 个发布入口