TopsTip在AI技术迅猛发展的今天，AI机器人在各个行业的活动引起了广泛关注。根据Akamai的分析，AI机器人的流量主要集中在商业和媒体领域。商业领域吸引了48%的AI机器人流量，而媒体行业则占据了13%。在媒体领域中，出版公司是AI机器人的主要目标，占据了媒体行业中40%的流量。
为何Akamai认为Fetcher Bots更值得关注
在AI机器人中，OpenAI产生的流量最多，其40%的媒体请求流向了出版公司。这是因为OpenAI运营着多个机器人，包括用于训练的GPTBot、用于AI搜索的OAI-SearchBot以及实时获取内容的ChatGPT-User。Meta和字节跳动紧随其后，成为第二和第三大运营商。
Akamai将AI机器人分为四种类型，其中训练爬虫和获取器占据了媒体行业的大部分流量。训练爬虫用于收集内容以构建语言模型，占据了2025年下半年媒体行业AI机器人活动的63%。获取器则在用户向AI聊天机器人提问时实时抓取特定页面，占据了24%的流量，其中43%来自出版行业。
Akamai指出，尽管训练爬虫生成的总流量更多，但获取器对收入的即时影响更大。当获取器提取文章以回答聊天机器人查询时，用户无需访问出版商的网站即可获得信息，这对出版商的流量和广告收入构成了潜在威胁。
出版商的应对策略
值得注意的是，Akamai本身销售机器人管理工具，其报告中的建议也倾向于推荐自家产品和合作伙伴。Akamai的客户通常采取拒绝（直接阻止请求）、延迟连接（消耗机器人资源）和延迟响应（增加响应前的暂停）的策略。
有一家未具名的出版商选择了延迟连接而非直接阻止，这样控制了97%的AI机器人请求，并为可能的授权交易保留了机会。报告建议不要一刀切地阻止所有机器人，因为有些AI公司愿意为内容访问付费，全面阻止会剥夺这种可能性。
展望未来
报告的核心观点在于区分训练爬虫和获取器。阻止训练爬虫可能会影响你内容在未来AI模型中的作用，而阻止获取器则会影响你内容在当前AI回应中的出现机会。出版商需要在保护自身利益和开放合作之间做出权衡。
