TopsTip谷歌最近开始测试一个名为Web Bot Auth的新协议，该协议旨在帮助网站验证自动化流量是否真的来自其声称的服务。这一新协议有望为网站所有者提供一种可靠的方法，以区分合法的自动化流量和伪装身份的机器人。
Web Bot Auth的基础是什么
Web Bot Auth的正式名称是HTTP Message Signatures Directory，这是一项旨在自动化Web服务之间信任的技术标准。它帮助网站识别经过验证的自动化服务，而不需要双方事先手动交换安全密钥。
这个协议的基本理念是为经过验证的自动化服务提供一种标准化的凭证展示方式。与仅依靠名称或用户代理字符串不同，Web Bot Auth为网站提供了一种可重复的方式来检查自动化请求是否可以被验证。
识别机器人的可靠方法
Web Bot Auth的重要之处在于其加密验证功能，这使得身份伪造变得更加困难。当前，恶意机器人可以通过复制名称或用户代理字符串来冒充合法的爬虫。Web Bot Auth通过加密凭证验证自动化请求，超越了这种自我识别的方法。
根据该协议，机器人不仅需要一个标签来说明其身份，还需要以网站可以验证的方式证明其身份。这为网站所有者提供了一个安全的基础来允许经过验证的自动化服务，同时阻止无法证明身份的机器人。
注意事项：仍处于实验阶段
目前，这个协议仅适用于一部分流量，如Google-Agent。谷歌尚未对每个请求进行签名，因此缺少签名并不自动意味着机器人是伪造的。网站所有者被建议在使用该协议的同时继续依赖IP地址和反向DNS，以避免意外阻止尚未迁移的合法流量。
谷歌强调，用户应继续使用现有标准，如基于用户代理和IP的机器人验证，并指出该标准本身仍在提案阶段，可能会有所更改。
自动化服务和网站的好处
Web Bot Auth通过减少每个网站和自动化服务之间的手动设置需求，使得机器人验证更易于扩展。它还为自动化服务提供了一种更一致的方式，以便在其安全详细信息发生变化时保持可识别性，从而有助于避免验证中断。
虽然Web Bot Auth仍处于实验阶段，但其为网站提供了一种更可靠的方法来验证自动化流量的潜力不容小觑。随着该协议的发展，网站可能会更容易地区分伪装的爬虫和可信的服务。
