别按 24 小时判断所有 Bot:Amazon 可能缓存 30 天
Amazon 把 Amazonbot、Amzn-SearchBot、Amzn-User 分开,且 robots.txt 可使用最近 30 天缓存。Rufus/Alexa 可见性验证不能按单一 24 小时窗口判断。
很多复核默认「改完 robots,24 小时后就该看到变化」。这在部分平台可用,但不能套给 Amazon。
## 事实
来自 Amazonbot 文档:Amazonbot 可用于改进产品服务,也可能用于训练 Amazon AI;Amzn-SearchBot 用于改进 Amazon 产品搜索,允许后内容有资格出现在 Alexa、Rufus 等体验中,但不用于生成式训练;Amzn-User 是用户问题触发的实时访问,也不用于训练。关键:Amazon robots.txt 可使用最近 30 天缓存,且不支持 crawl-delay。
## 可执行动作
把「生效窗口」写进账本:不同平台不同(有的约 24h,Amazon 可达 30 天)。不把 Amazonbot 当 Rufus/Alexa 的唯一入口,单独看 Amzn-SearchBot 和 Amzn-User。