OpenAI 将遵循共享 robots.txt 信号，供网站表明 AI 训练偏好

OpenAI 在 10 月 30 日发布的一篇官方文章中表示，公司将遵循一种共享的 robots.txt 信号，让网站运营者能够就自家内容是否可用于 AI 训练表明态度。按照这一安排，站点只需发布一次声明，所有参与该机制的模型提供方都会读取同一份偏好。

该机制沿用了 robots.txt 这一互联网上沿用多年的纯文本约定，网站原本就用它告诉爬虫哪些页面可以抓取。区别在于，过去 AI 公司各自定义爬虫标识、各自提供退出表单，如今运营者面对的是同一套可被多方识别的声明格式。

对 OpenAI 而言，这是一项政策承诺，而不是技术上的强制手段。公司把它定位为降低沟通成本的方式：在出版商、创作者与监管机构持续关注训练数据来源的当下，让不希望被训练这一诉求有更明确的表达出口。

官方文章强调的重点是互操作性——偏好在一处表达，就在所有同意遵循该信号的服务商处生效。这有望减少目前站点需要为不同厂商分别维护屏蔽名单、退出流程和授权入口的碎片化局面。

需要说明的是，这一宣布并未解决法律层面的问题。robots.txt 长期以来被视为行业惯例而非具备强制力的合同，自愿性信号也只能约束签字参与的公司；若网站需要确定性保障，仍然要回到正式的授权协议。

具体执行细节也仍待观察：声明的颗粒度能细到什么程度、参与方多久更新一次爬虫的读取逻辑、以及是否有其他主要模型厂商跟进做出同样的承诺。

对内容方来说，近期的检验标准是这个信号会不会成为建站配置里的默认项，而不是只有技术能力较强的团队才会启用的可选项。对 AI 开发者来说，这又一次说明尊重抓取偏好正在从礼让变成一种基础预期。