研究发现LLM版本更替削弱AI写作筛查可靠性

发生了什么

据arXiv论文《Large Language Model Turnover Undermines Screening...》指出，大语言模型版本的频繁更替严重削弱了AI辅助科学写作筛查的可靠性。研究对4,000篇PNAS摘要与23个LLM版本的重写结果进行分析，发现仅基于过去版本训练的检测器在模型代际边界处会崩溃，校准为误报1%人类文章时，在新旧版本交界处捕获率从99%骤降至3.8%。模拟显示，覆盖所有版本的屏幕要么误报八分之一人类文章，要么漏掉三分之一最新重写文章。