前沿科技
测评指南

Cloudflare 推出免费防护工具,阻止 AI 机器人抓取网站内容

上市云服务提供商 Cloudflare 推出了一个新的免费工具,以防止机器人抓取其平台上托管的网站数据来训练 AI 模型。该工具旨在解决那些不遵守 robots.txt 文件的 AI 抓取器问题,robots.txt 文件会上告诉机器人哪些页面可以访问。尽管一些 AI 供应商允许网站通过 robots.txt 文件来阻止抓取,但并非所有 AI 抓取器都会遵守。为了解决这个问题,Cloudflare 分析了 AI 机器人流量,以优化检测模型,并设立了报告表格。

Cloudflare 新防护工具的主要特点和功能

  • 机器人检测模型:Cloudflare 通过分析 AI 机器人和抓取器流量,优化了自动机器人检测模型。这些模型可以识别模仿合法用户外观和行为的机器人;
  • 简易屏蔽:一个新的“简易按钮”允许客户一键屏蔽所有 AI 机器人。此功能对所有客户开放,包括免费用户;
  • 持续更新:该工具将随着时间推移进行更新,以识别新的机器人指纹。

AI 机器人活动

  • 热门 AI 机器人:在 Cloudflare 网络上最活跃的 AI 机器人包括 Bytespider、Amazonbot、ClaudeBot 和 GPTBot。由字节跳动运营的 Bytespider 在请求量上领先,并经常被屏蔽;
  • 屏蔽趋势:尽管 AI 机器人访问了约 39% 使用 Cloudflare 的前一百万个互联网属性,但只有 2.98% 的这些属性采取措施屏蔽或挑战这些请求。排名较高的属性更有可能屏蔽 AI 机器人。

检测和预防

  • 伪装用户代理:Cloudflare 的机器学习模型可以检测使用伪装用户代理的机器人,使其看起来像合法浏览器。这些模型对流量进行评分,以识别可能的机器人活动;
  • 全球信号:Cloudflare 使用其网络的全球信号,该网络每秒处理超过 5700 万次请求,以准确识别和标记机器人指纹。

Cloudflare 的新工具为网站所有者提供了一个强大的解决方案,以保护其内容免受未经授权的 AI 抓取。通过利用先进的检测模型和提供易于使用的屏蔽功能,Cloudflare 有助于维护一个安全和公平的互联网环境。

随着生成式 AI 的兴起,尽管许多网站选择屏蔽 AI 抓取器,但一些供应商无视标准规则,以在 AI 竞赛中获利。像 Cloudflare 这样的工具可能会有所帮助,但前提是它们能准确检测到隐秘的 AI 机器人,同时也不会解决失去推荐流量的问题。

看完文章,如果你觉得有需要出一个“如何使用Cloudflare 防护工具”的教程,请在文章下方点赞,点赞数超过 10 就出教程。

赞(3)
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《Cloudflare 推出免费防护工具,阻止 AI 机器人抓取网站内容》
文章链接:https://topstip.com/cloudflare-launches-a-tool-to-combat-ai-bots/
转载说明:请注明来自“TopsTip”并加入转载内容页的超链接。
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

评论 抢沙发

登录

找回密码

注册