别把 robots 当开关:AI 抓取控制有生效窗口
AI 抓取控制不是按下按钮就立刻生效。robots、IP JSON、签名请求和日志回看要一起用,才能区分是内容失败、控制延迟,还是身份识别错误。
常见错:今天改了 robots/WAF,明天没看到 AI 引用,就说内容失败。太快——AI 抓取控制有平台差异、缓存窗口和身份识别边界。
## 事实
Perplexity robots 变更最多约 24 小时反映;Amazon robots 缓存可达 30 天;Google Web Bot Auth 仍是实验,且不是所有 agent/每个请求都会签名;OpenAI 不同 bot 有独立 IP JSON(SearchBot/ChatGPT-User/GPTBot/AdsBot)。控制链不能只看一个 User-Agent。
## 可执行动作
第一,robots 改动后记录平台声明的生效窗口,不立刻下结论。第二,WAF 放行同时看 UA、IP JSON、反向 DNS 或签名。第三,把训练抓取、搜索抓取、用户触发分开判断,别把「还没生效」误读成「内容失败」。