TopsTip“`html
Google最近发布了一份文档，介绍了一种名为Web Bot Auth的新协议。这是一种实验性的IETF协议，旨在帮助网站通过加密方式验证来自机器人和AI代理的自动化请求。
新协议的核心内容
Web Bot Auth通过允许代理使用加密密钥对HTTP请求进行签名，为验证过程增加了一层防护。网站可以通过与已发布的公钥进行比对，确认请求的真实身份。
协议使用了HTTP消息签名（RFC 9421）技术，自动化客户端可以用私钥签署请求，并在已知URL上发布公钥。接收网站通过公钥验证签名以确认身份。
Google表示，一部分签名的Google-Agent请求会通过https://agent.bot.goog进行认证。这些请求包含一个Signature-Agent HTTP头，其值为g=”https://agent.bot.goog”，可以通过该域的.well-knowndirectory发布的公钥进行验证。
Google目前的局限性
并非所有的Google用户代理都参与了此次测试。文档显示，Google正在使用其基础设施上托管的“部分AI代理”进行测试，但未具体说明哪些代理参与，而Google-Agent用户触发的抓取器是其中之一。
即使是参与的代理，也并不是每个请求都会被签名。文档建议网站在逐步推出签名流量的同时，继续依赖IP地址、反向DNS和用户代理字符串作为主要的验证方法。
为何此协议重要
机器人冒充一直是个持续的问题。爬虫和恶意行为者可以伪造用户代理字符串，将其流量伪装成Googlebot或其他合法爬虫，使得网站所有者难以辨别真实和虚假的机器人流量。
我们曾报道过Google的Martin Splitt警告说“并非所有声称是Googlebot的请求实际上都是Googlebot。”当时可用的验证方法是反向DNS查找和IP范围检查。Web Bot Auth协议将增加一个无法在没有代理私钥的情况下伪造的验证层。
未来展望
对于已经使用支持该协议的CDN或WAF的网站，验证可能会自动进行。对于其他网站而言，由于协议仍在实验阶段，因此没有立即采取行动的紧迫性。文档建议将现有验证方法视为默认，Web Bot Auth作为补充。
Web Bot Auth仍在标准化过程中，Google的实现也处于实验阶段。目前实际的变化是网站可能会开始看到来自部分Google-Agent流量的签名请求，而现有的验证方法仍然是默认选项。
接下来的问题是，是否会有更多的AI代理采用签名请求，以及托管服务提供商是否会为不想管理密钥的网站自动进行验证。
“`
