科技巨头承诺支持统一AI训练抓取指令

发生了什么

据Engadget报道，Google、OpenAI、Anthropic及Microsoft已承诺支持一项新的robots.txt指令，旨在允许发布者统一控制其内容是否被用于生成式AI训练。该指令基于IETF的一项提案，通过设置特定的用户代理（User-Agent: __usage_ai-training）来阻止AI训练爬虫，但不影响常规搜索抓取。Anthropic已开始支持该指令，Microsoft计划于2027年2月1日启用，Google预计在2027年初支持，OpenAI则承诺在未来几个月内实施。该指令仅适用于未来抓取，无法撤销已完成的数据采集。