OpenAI 推出了 ChatGPT 的网络搜索功能,这使其与 Google 搜索形成直接竞争。该功能利用微软 Bing (必应) 的搜索技术,并结合 OpenAI 自己的数据抓取,按特定算法排序后返回结果。OpenAI 在博客中确认使用 Bing 搜索,用户若希望通过 ChatGPT 获得流量,需要针对 Bing 进行 SEO 优化。
ChatGPT 网络搜索功能使用微软 Bing 搜索技术爬虫名称为 OAI-SearchBot。而目前,ChatGPT 使用三种爬虫技术:
- GPTBot:用于从互联网上数据提取训练 OpenAI 的 AI 模型,该爬虫可以增强不会影响到网站的搜索流量;
- ChatGPT-User:用于在用户提问时从网络上搜索数据以重要来源链接,该爬虫本身不会抓取网页信息;
- OAI-Search:是 OpenAI 用于 ChatGPT 搜索搜索功能的爬虫,专门用于抓取网络数据,但不会将数据用于 AI 模型训练。
OAI-Search 爬虫不会用于 AI 模型训练,因此用户可以通过验证 IP 地址来防止恶意爬虫。
此外,OpenAI 还提供了 OAI-Search 爬虫的详细信息,包括完整的用户代理和 IP 地址范围 (完整 UA:Mozilla/5.0 AppleWebKit/537.36「KHTML,如 Gecko」;兼容的; OAI-SearchBot/1.0; +https://openai.com/searchbot,IP 地址:20.42.10.176/28、172.203.190.128/28、51.8.102.0/24) 以便网站管理员进行管理和防护。
-=||=-收藏赞 (1)
评论前必须登录!
立即登录 注册