简介
网站主未来可能多一种表达"我的内容能不能拿去训练AI"的标准方式。10月30日，Anthropic工程师Kevin Kelley向IETF提交了一份Internet-Draft，提议在robots.txt中引入__usage_ai-training标记，用于声明站点内容在生成式AI训练方面的使用偏好。
提案内容：训练偏好与爬取规则分离
这份草案的核心思路是把两件事拆开：
- 爬虫访问规则：robots.txt原有的User-agent与Disallow体系，控制"能不能来抓"；
- AI训练使用偏好：新增的__usage_ai-training标记，表达"抓走的内容能不能用于训练生成式模型"。
标记沿用robots.txt现有语法，无需网站主学习新格式。需要注意的是，这目前只是一份处于草案阶段的工作文档，并非已采纳的互联网标准，执行也依赖各搜索引擎与AI公司的自觉实现。
为什么要做这件事
当前AI公司与内容方的授权纠纷此起彼伏，核心矛盾之一是缺少统一的机器可读授权表达。部分AI爬虫已各自发明了控制标记，但互不兼容。一个IETF层面的通用信号，能让中小网站主不必逐一研究每家的文档。这与我们此前报道的搜索生态变化一脉相承——AI正在重塑内容分发的默认规则。
对SEO与网站主的影响
- 短期：无需改动任何配置，现有robots.txt不受影响；
- 中期：如果标准被广泛采纳，主流SEO工具预计会加入"AI训练授权状态"检测；
- 策略：内容方需要认真思考训练授权的商业价值——允许训练可能带来AI答案中的引用曝光，禁止则保护独家性，这是一道新的流量权衡题。
局限与争议
批评者指出，偏好声明不等于强制执行——不守规矩的爬虫仍可无视标记。真正的约束力来自法律（如各国的文本与数据挖掘例外条款）与平台政策，而非技术标记本身。
总结
这份草案的意义在于给行业提供了一个可落地的对话起点。站长与SEO从业者建议保持关注，待主流搜索引擎表态后再决定是否部署。更多搜索生态动态，可以持续关注AiVsly的AI行业观察栏目。