谷歌、微软、Anthropic与OpenAI支持新抓取标准：一条robots.txt规则挡住AI训练爬虫

10月30日，谷歌、微软、Anthropic与OpenAI共同宣布，将支持一项即将推出的网站抓取标准。据SiliconANGLE报道，该标准让网站运营者可以阻止AI开发商把自己的内容用于模型训练，四家公司已经把草案提交给负责维护Robots排除协议的互联网工程任务组（IETF）。

这套机制建立在robots.txt之上。这个放在网站上的文本文件，几十年来一直用来告诉爬虫哪些内容可以访问、哪些不行，也能限制爬虫的访问频率。如今它同时承担着另一项功能：约束那些为AI公司采集训练数据的抓取程序。

问题在于颗粒度。一家媒体若想把内容排除在AI训练数据之外，就必须为每一家AI公司单独写一条规则；如果对方运营多个爬虫，还得为每个爬虫各写一条。随着新爬虫不断出现，这份清单会越来越长，也越来越容易出错。

新标准想把这一过程收拢成一条声明：网站运营者用一条robots.txt条目，就能屏蔽所有为生成式AI模型采集训练数据的爬虫，同时不影响其他访问规则。草案也划出了边界，该设置不适用于“仅执行非生成式任务”的模型。

微软还宣布配套推出名为“AI Grounding”的抓取设置，针对的是另一类流量——模型不是为了建立训练集，而是为了回答用户问题去读取网页。这项控制同样会覆盖那些使用微软技术处理提示词的第三方AI工具。OpenAI表示也会提供类似的控制项。

落地时间并不一致。微软与OpenAI计划在未来几个月内加入对该标准的支持，谷歌则要等到明年。Meta表示支持这一想法，但尚未承诺实施。

这项进展的意义在于把“用于训练”和“用于检索回答”拆成了两个开关，让内容方第一次有了相对明确的表述工具。但robots.txt本质上仍是自愿遵守的行业惯例，标准能否奏效，最终取决于各家爬虫是否照做、违规是否会被追责。接下来值得关注的是IETF的审议进程、Meta等尚未表态的公司会不会跟进，以及“非生成式”这一例外在实际执行中如何界定。