别把 NoAI 当护身符:Meta 更看 robots 和用途分层
Meta 官方说明:非标准标签(如 NoAI)不能替代 robots.txt。FacebookExternalHit、Meta-ExternalAgent、Meta-ExternalFetcher 用途不同,要分层处理。
想控制 AI 抓取时先加个 NoAI 标签,觉得就够了——但 Meta 明确:非标准标签不能当主要控制面。
## 事实
来自 Meta web crawlers 文档:FacebookExternalHit 负责社交分享预览;Meta-ExternalAgent 可用于训练基础 AI 模型,或直接索引内容以改进产品;Meta-ExternalFetcher 是用户请求触发的链接抓取,支持 agentic 能力,并可能绕过 robots.txt。Meta 偏好 robots.txt 等行业标准而非 NoAI 这类非标准格式;robots 变更最多约 24 小时生效。
## 可执行动作
把 Meta 访问拆三层:分享预览看 FacebookExternalHit;训练/索引看 Meta-ExternalAgent,用 robots 表达;用户触发看 Meta-ExternalFetcher。不要把非标准标签当退出凭据。