TopsTip许多人认为 Googlebot 是访问他们网站的主要爬虫，但这个假设现在已经被打破。根据 Alli AI 的数据分析，我们发现 OpenAI 的 ChatGPT-User 爬虫在一段时间内的请求量是 Googlebot 的 3.6 倍。
AI 爬虫领先：ChatGPT-User 表现突出
在对 69 个客户网站的分析中，ChatGPT-User 爬虫的请求量超过了 Googlebot、Amazonbot 和 Bingbot 的总和。AI 相关的爬虫（如 ChatGPT-User、GPTBot 等）共发出了 213,477 次请求，而传统搜索爬虫（如 Googlebot、Bingbot 等）仅有 59,353 次请求。
这表明 AI 爬虫的影响力正在迅速增加，特别是 ChatGPT-User 在其中扮演了重要角色。
OpenAI 的双重爬虫策略：你了解吗？
OpenAI 运营着两个不同的爬虫：ChatGPT-User 和 GPTBot。ChatGPT-User 是一个实时检索爬虫，负责在用户提问时获取最新的网页信息。而 GPTBot 则是用于模型训练的数据收集爬虫。
许多网站在 robots.txt 文件中屏蔽了 GPTBot 却没有屏蔽 ChatGPT-User，或者反之，但很少有人了解这样做的不同影响。
高效但负担重：AI 爬虫的双刃剑
AI 爬虫的请求效率非常高，因为它们是根据用户查询来获取特定页面，而不是全面探查网站结构。这意味着它们的请求更具针对性。
然而，尽管每个请求的负载较轻，但由于请求总量巨大，服务器的总体负担仍然显著。例如，ChatGPT-User 的 133,361 次请求虽然单次仅耗时 11 毫秒，但累积起来依然构成了不小的基础设施成本。
Googlebot 的视角不同：成功率揭示的问题
Googlebot 的成功率为 96.3%，而 AI 爬虫几乎达到了完美的成功率。这显示出两者在结构上的重要区别。AI 爬虫的高效和可靠性值得关注，但也需要注意其带来的服务器负担。
随着 AI 技术的发展，SEO 策略也需及时调整。审查你的 robots.txt 文件，清理 Google Search Console 中的过时 URL，已成为优化网站的重要步骤。
