OpenAI将支持robots.txt通用信号

发生了什么

据OpenAI公告，公司宣布将支持robots.txt中的通用信号，旨在简化网站运营者向多个AI提供商表达内容训练偏好的流程。该举措基于IETF AI偏好工作组的进展，旨在减少运营者为不同爬虫维护独立规则的工作量。OpenAI表示该信号不会取代现有的爬虫控制措施，现有控制手段将继续适用。公司计划在未来几个月内实施该信号，并将在实施时提供详细更新。