Google、微软、OpenAI以及Anthropic正在支持新的AI训练偏好声明，该声明允许网站通过修改robots.txt表明是否允许内容被AI公司用于训练模型。按照该草案，网站管理员只需要添加一组规则就可以向多家支持该规则的AI公司表达声明。
声明内容如下：
在网站robots.txt文件中添加这段内容即可声明全站内容禁止用于训练AI模型，网站管理员也可以修改允许或不允许的目录，例如部分目录允许被用于AI训练，部分内容不允许被用于AI训练。
各家支持时间不同：
目前该方案仍然是互联网草案，不过微软已经表示该公司会从2027年2月1日开始遵循该声明，所以不想内容被用于AI训练的网站现在就可以修改文件添加相关声明。
Google的计划是从2027年年初开始提供支持，但具体时间还有待后面准备工作完成。OpenAI表示会在未来几个月内实施该方案，Anthropic似乎已经开始支持该草案。
禁止训练和引用内容生成回答属于不同用途：
以上声明仅表达的是网站对内容用途的选择，按照草案说明，单独设置上述声明不会直接阻止爬虫访问网页，如果网站要限制特定爬虫抓取内容，还是要通过传统robots.txt规则进行配置。
训练内容与AI回答引用网页也属于不同的用途，微软为自家服务额外提供AIGrounding控制，供网站决定内容是否允许AI生成回答时引用，这项控制针对具体页面且仅适用于微软服务。
Google则表示，如果网站使用上述声明拒绝AI训练，但没有明确设置Google-Extended，Google计划按网站拒绝Google-Extended规则处理。Google-Extended涉及Gemini模型训练，也涉及部分Gemini回答的网页参考用途。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】