别把 GPTBot 当搜索入口:ChatGPT Search 看 OAI-SearchBot
OpenAI 把 OAI-SearchBot、GPTBot、ChatGPT-User 分开。搜索可见性看 OAI-SearchBot,训练看 GPTBot,用户触发看 ChatGPT-User;三者 robots 独立。
很多网站看到 OpenAI 的 bot,只问一句:放行还是拦截?太粗。
## 事实
来自 OpenAI 官方 bots 文档:OAI-SearchBot 用于 ChatGPT Search 的展示与搜索结果;GPTBot 可用于生成式基础模型训练;ChatGPT-User 是用户在 ChatGPT/Custom GPTs 中触发的页面访问。三者的 robots.txt 设置彼此独立,官方也给出「允许 OAI-SearchBot、禁止 GPTBot」的组合。搜索相关 robots 更新约 24 小时生效。
## 可执行动作
第一,搜索可见性看 OAI-SearchBot:记录是否允许、是否命中 sitemap、是否能读到 HTML 正文。第二,训练边界看 GPTBot,用 robots 表达。第三,用户触发看 ChatGPT-User,封它会降低用户定向访问。
更细的访问控制(IP JSON、AdsBot、多因子验证)见《怎么确认一个请求真是 AI 爬虫》;整体分层见《别按公司名一刀切:用一张控制矩阵》。