AI巨头支持新爬虫退订标准

发生了什么

The Verge报道，OpenAI、Google、Microsoft和Anthropic宣布将采用由Anthropic技术负责人Kevin Kelley提出的IETF标准。该标准通过在robots.txt中加入共享的“policy token”信号，让出版商可统一设置不被AI模型抓取的偏好，而无需分别与各公司协商。此举旨在为AI训练数据的抓取提供统一的退订机制。