TopsTip**
“`html
一个新的分析揭示了在 Duda 平台上托管的 858,457 个网站中，AI 爬虫如何与网站进行大规模交互。数据显示了爬虫活动的增长趋势，以及 SEO 和企业应如何利用这一趋势增加来自 AI 搜索的流量。
AI 爬虫已达到大规模
AI 爬虫的活动正在迅速增长，更多请求与实时答案相关，其中大部分活动来自一个主要提供商。数据揭示了哪些网站正在被爬虫访问，更重要的是，为什么这些网站被访问。
在过去一年中，LLM（大语言模型）的推荐流量显著增加，不同平台在不同起点上均显示出显著增长。这种增长并不均匀，但整体来看，来自 AI 系统的推荐流量正在增加，这使得 AI 生成的发现成为一个重要的流量来源。
爬虫越来越多地获取内容以生成答案
AI 爬虫不再主要用于建立索引，绝大多数活动现在与实时获取内容以为用户生成答案有关。大部分爬虫活动是响应用户查询，而非建立索引，这改变了内容的访问和使用方式。
这种趋势主要由 ChatGPT 驱动，它几乎负责所有实时检索活动。这意味着基于答案的爬虫活动并不均匀分布，而是集中在一个平台上，这个平台塑造了内容的访问方式。随着 Google 新的 Google-Agent 爬虫的出现，这一趋势可能会改变。
AI 爬虫市场的集中化
AI 爬虫活动高度集中，OpenAI 负责绝大多数请求，这反映了其作为用户查找和检索信息的主要工具的地位。大多数 AI 爬虫活动来自 OpenAI，这与 ChatGPT 作为主要信息检索工具的角色一致。Claude 的份额较小，表明不同的使用模式，而市场的其他部分只占很小的爬虫活动比例。
爬虫与实际流量的关系
AI 爬虫已经在网络的大部分区域运行，覆盖数十万网站，并在单月内生成数千万次请求。数据集中超过一半的网站至少收到了一次 AI 爬虫访问，这表明这种活动并不限于少数网站。
AI 爬虫并不局限于高知名度或高流量的网站。其活动已经广泛存在，并在网络的绝大多数区域保持一致。
允许 AI 系统爬取的网站在多个指标上显示出更强的参与度。允许 AI 系统爬取的网站收到的人类流量显著更多，平均为 527.7 次会话，而未被爬取的网站平均为 164.9 次。这并不意味着因果关系，但显示了吸引人类访问者的网站与 AI 系统访问频率之间的明显一致性。
AI 系统并未发现弱小或不活跃的网站并提升其流量。它们返回的是已经吸引人类访问者的网站。对于营销人员来说，这将重点从试图“被爬取”转向建立真实的受众需求，因为 AI 系统中的可见性似乎与之相关。
“`
请注意，这篇文章遵循了原文的核心观点，保留了关键数据和实例，没有添加新的观点，并且根据中国读者的阅读习惯进行了逻辑结构的调整。
