robots.txt、noindex 和 AI 搜索蜘蛛有什么区别？

robots.txt 位于网站根目录，用来告诉抓取工具哪些路径可以访问。它主要管理抓取流量，不是可靠的保密措施，也不等于页面一定不会出现在搜索系统中。

noindex 可以放在 HTML 的 robots meta 标签或 HTTP 的 X-Robots-Tag 中，用来要求搜索系统不要展示页面。但抓取工具必须先访问页面，才能读到这条规则。如果 robots.txt 已经完全禁止访问，它可能看不到 noindex。

AI 搜索蜘蛛需要单独识别

不同平台使用不同用户代理。OpenAI 的公开说明指出，网站若希望内容进入 ChatGPT 搜索摘要和片段，不应屏蔽 OAI-SearchBot；是否允许 GPTBot 涉及另一类训练控制。允许某个蜘蛛抓取，只代表它能够访问，不代表页面一定会被展示或引用。

未完成网站怎么处理

开发期如果不希望公开发现，应优先使用登录或网络访问控制。需要临时对全部公开抓取工具关闭时，可以结合 robots.txt、noindex 和响应头，并在正式开放前逐项恢复和验证。