网站想拒绝 AI 抓取，现在一行 robots 规则就够了吗

你写过的那篇教程，某天出现在一个 AI 的回答里。句子是你的，逻辑是你的，例子也是你的，就是没有你的名字，也没有你的链接。你想过在 robots.txt 里说一句"别拿去训练"，然后发现这件事比写文章本身还麻烦——每家公司一个名字，写完了也不知道有没有人真的读。

10 月 30 日之后，这件事有了一点变化，但变化没有想象中那么大。

一、发生了什么

据 The Verge 10 月 30 日的报道，OpenAI、Google、微软、Anthropic 四家先后表示，会遵守 robots.txt 里一种新的共同信号。此前 Search Engine Roundtable 已经先报道过这件事。

这个信号的正式身份是一份 IETF 草案：编号以 draft-kelley 开头，主题是 aipref 工作组的训练偏好信号，版本号为 00。作者 Kevin Kelley，头衔是 Anthropic 的标准技术负责人。草案提交日期为 2026 年 10 月 30 日，有效期到 2027 年 5 月 3 日。需要说清楚的是：这是以个人名义提交的草案，属于 IETF 的讨论稿，不是已经生效的行业标准。

技术上它做了一件很克制的事——不新增指令，也不改语法。robots.txt 里原有的那套"产品名 + 允许/禁止路径"结构完全保留，只是额外承认一个特殊的产品名：__usage_ai-training。

草案给出的示例是这样的结构：第一行声明产品名 __usage_ai-training，第二行 Disallow 根路径表示"这类用途我不同意"，第三行 Allow 某个目录表示"这部分可以放行"。也就是说，同意与不同意，仍然用 Allow 和 Disallow 表达，没有引入新的关键字。

读法上还有几条细节值得记住。文件里没有这一段，等于什么都没说，不会被理解成默认同意；通配符那个组不能被解释成匹配这个特殊令牌；爬虫必须精确匹配这个产品名，只忽略大小写。

四家的态度也不完全一样。OpenAI 在自己的公告里说，计划在"未来几个月"内实现，而且这一信号不取代现有的 robots.txt 控制，属于自愿加入。Meta 的传播负责人公开表示支持，但没有说明公司是否会照做。其余几家公告里，没有给出明确的生效日期。

二、跟你有什么关系

有自己域名、有个小站的人：这是唯一能今天动手的一类。改动成本是打开一个文本文件，加三行。

只在公众号、小红书、知乎发内容的人：这件事对你没有直接作用。robots.txt 是网站和爬虫之间的约定，平台上的内容走的是平台条款，你改不了那一层。你能做的是让署名更难被抹掉，以及接受"平台替你谈条件"这个现实。

靠搜索流量吃饭的内容站：要分清两件事。搜索收录和 AI 训练是两套信号，草案明确要求这两者互不干扰，普通抓取照旧。所以不要因为怕掉排名而不敢写这一段。

做 AI 产品、需要抓别人网页的团队：反过来看，这是一条你必须实现的解析分支。以前只处理常规产品名，现在多了一个语义特殊的令牌，而且它表达的是用途偏好，不是访问许可。

三、怎么用：四步，十分钟

1. 先看现状。浏览器打开你的域名加 /robots.txt。返回 404 说明你没有这个文件，可以新建一个纯文本文件放在网站根目录，文件名就叫 robots.txt。

1. 加上这一段。三行，注意缩进不要带，冒号后面留一个空格：第一行 User-Agent 后面写 __usage_ai-training；第二行 Disallow 后面写一个斜杠，表示拒绝全部路径用于 AI 训练；第三行 Allow 后面写你愿意放行的目录，比如 /press/ 或 /about/。如果你希望所有路径都拒绝，第三行可以不写。

1. 想清楚放行什么。新闻稿、品牌介绍、你希望被引用和传播的页面，可以放行；付费内容、原始数据、图片和图库目录，建议一律拒绝。也要接受一个前提：这只是偏好表达，对不守规矩的爬虫没有强制力。

1. 上线后做两件事验证。一是用命令行请求一次这个文件，确认返回 200、内容类型是纯文本，没有被打成 HTML；二是过两三周翻服务器访问日志，看主流 AI 爬虫的产品名访问量有没有变化。没有变化不代表你写错了——这条信号约束的是"内容用途"，不是"能不能来"。

如果你确实想拦住访问，那要在 CDN 或防火墙那一层按 User-Agent 做规则，或者在边缘直接返回 403。robots.txt 从来都不是门锁。

四、三个别信的说法

「加上这三行，AI 就不爬了。」 草案把这个令牌定义为用途偏好，明确说它不是爬行指令，消费方可以参考，也可以不参考。Meta 只表态支持、没说执行，就是现成的例子。想真拦，靠的是访问控制，不是声明。

「这是版权保护，加了就能维权。」 它证明的是"你表达过不同意"，不是"对方构成侵权"。真要走法律程序，看的是抓取行为、内容相似度、有没有合理使用抗辩。这条规则更适合当成证据链里的一环，而不是判决书。

「加了会掉搜索排名。」 草案要求偏好信号与爬行规则相互独立，Google 的常规抓取不受这段影响。但各家实现细节目前都没公开，稳妥的做法是上线后对比自己的收录量，用数据判断，别用感觉判断。

五、一句话结论

这条规则真正的价值不是"挡住谁"，而是把你的态度写进一个机器能读的地方：从逐家喊话，变成一次声明。但它终究是自愿协议，护栏还得自己搭。

延伸阅读：AI 生成内容的版权边界在哪、欧盟成员国给 AI 抓取划的线、被 AI 爬虫误判封禁之后。

信息来源

• The Verge，Emma Roth《The biggest names in AI are backing a new way to opt out of scraping》，2026-10-30：https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out
• IETF 草案 draft-kelley-aipref-training-preference-signal-00，Kevin Kelley，2026-10-30：https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
• OpenAI《Helping websites express AI training preferences》，2026-10-30：https://openai.com/index/helping-websites-express-ai-training-preferences/

本文基于公开信息整理，草案仍处于讨论阶段，各家的实现范围与生效时间以官方公告为准。