Google 认证的 3 种让 Googlebot 快速抓取更多内容的方法

Google 搜索团队的重要成员 Gary Illyes 和 Lizzi Sassman 讨论了 3 种可以触发 Googlebot (谷歌机器人) 增加网站爬行的因素，并指出虽然不需要频繁爬行，但有方法可以吸引 Googlebot 更频繁地访问网站。

以下是 Google 确认了可以提高 Google 蜘蛛抓取率的 3 个因素以及如何运用这些知识的方法。

1. 网站高质量内容对 Googlebot 爬行频率的影响

Google 搜索团队的重要成员 Gary Illyes 谈到的一个话题是网站的质量。很多人会遇到网站/网页“已发现但未索引”的问题，这有时是由于某些 SEO 实践导致的。虽然这些实践被认为是好的方法，但其实可能并不符合 Google 的最新标准。在 SEO 中有一个不变的事实是，行业定义的最佳实践通常比 Google 的做法落后几年。如果有人确信自己做的一切都是正确的，就会很难看到问题所在。

Gary Illyes 分享了爬行频率增加的一个原因，他解释说，高爬行频率的一个触发因素是 Google 算法检测到的高质量信号。

Gary 说道：

“一般来说，如果网站内容质量很高，并且对用户有帮助，人们普遍会喜欢这个网站，那么 Google 的 Googlebot 往往会来更多次地爬行该网站……”

这段话中缺少一些细节，比如哪些信号会触发 Google 更频繁地爬行呢？但，Google 从来不会详细的说明细节，不过我们可以猜猜看。以下是个人的猜测：

我们知道有一些关于品牌搜索的专利，这个专利的核心思想是，当用户在 Google 搜索某个品牌 (比如搜索“耐克”)，这种搜索行为可以被视为对该品牌网站的一种“隐含链接”。这意味着用户的品牌搜索行为在某种程度上相当于他们对该品牌网站的认可，类似于其他网站链接到这个品牌网站一样。有些人认为“隐含链接”指的是品牌在其他网站上的提及 (比如在文章中提到“耐克”)。但实际上，专利中的“隐含链接”并不是指这种品牌提及，而是用户主动进行品牌搜索的行为。

还有一个 Navboost 专利，这个专利自 2004 年起就存在，主要讨论的是用户在网站上的交互行为 （比如点击、浏览、停留时间等），这些交互行为被 Google 用作评估网站质量的信号。Google 在评估网站质量时，使用了更加复杂的用户行为信号，而不仅仅是点击率或品牌提及。品牌搜索和用户交互（比如点击、浏览等）都是 Google 用来判断网站质量的因素，但这些信号的实际运作方式比一般理解的要复杂。有些人把这个专利等同于点击率 (CTR)，认为用户点击率越高，网站排名就会越好。但实际上，Navboost 专利并没有提到点击率，而是更广泛地讨论了用户的交互信号。点击率曾是 2000 年代初期的研究热点，但在专利中，它并没有那么简单，谷歌关注的是更复杂的用户交互行为，而不仅仅是点击行为。

一般来说，用户行为信号 (如用户搜索品牌的次数、用户在网站上的互动) 可能是 Google 考虑的因素之一。这些信号反映了用户对网站的认可度，从而影响 Google 的爬行频率。

看过很多网站你会发现，Google 对很多垃圾内容进行了排名。不知道你有没有这种经历，当你查看时这些网页内容时，发现这些网站确实质量不高。但另一方面，这些内容的确满足了用户的需求，因为他们并不知道如何区分预期内容和真正的高质量内容。而这种算法是 Google 依赖用户满意度信号来判断搜索结果是否让用户满意的一个结果。我们可以进行一个举例：

比如食谱网站 (只是举例并不是贬低)，但因为它们满足了用户的需求，用户觉得它们“有用”，所以这些网站在 Google 的排名中表现不错。这就像超市货架上那些充满糖分的谷物一样，虽然不一定是最健康的选择，但因为有些买家有需求，他们期望看到它们，超市就会继续供应，Google 的算法也是类似的逻辑。

Google 的算法类似于超市陈列商品的方式，展示的内容是最有可能满足用户需求的，而不一定是质量最高的。这意味着理解用户需求并提供他们想要的内容，是提升网站排名的关键。

2. 增加发布频率

Google 搜索团队的重要成员 Gary Illyes 和 Lizzi Sassman 还提到过，增加发布频率会触发 Googlebot 更多地爬行网站，尤其是当网站突然大量发布新内容时，可能会触发 Googlebot 更频繁地爬行网站。

当一个网站开始更频繁地发布新页面时，比如突然增加了很多新内容，这种变化会引起 Googlebot 的注意。Gary 提到了一个具体例子：当网站被黑客攻击后，可能会突然出现大量新页面。虽然这个例子是说被黑客攻击导致的内容激增，但核心的原因还是新页面的大量涌现，这让 Googlebot 感到需要更多地爬行这个网站，并不是网站被黑导致爬行更多。因此，增加的发布活动，无论是出于什么原因，都会让 Googlebot 频繁爬行。

总结就是，重点在于增加网站的内容发布活动 (如发布更多新页面) 会让 Googlebot 更频繁地访问网站。Googlebot 对新内容感兴趣，这就是为什么发布活动增加时，Googlebot 会“疯狂”地爬行网站。

3. 内容质量的一致性

Gary Illyes 还提到了内容质量下降可能导致 Googlebot 减少爬行。他解释说，如果网站的内容质量出现下降，或者某些部分的内容不再符合原有的高标准，Google 可能会减少对该网站的爬行频率。这通常被称为“内容自我竞争”或“内容内斗”。意味着，Google 可能会重新评估整个网站的价值，特别是如果低质量内容开始占据较大比例时，可能会影响整个网站的表现。

Lizzi Sassman 提问到，如果网站内容没有明显变化，比如既没有改进也没有变差，会不会影响 Googlebot 的爬行频率。但 Gary 的回答比较模糊，不过他暗示，如果网站内容长时间没有更新，Googlebot 可能会减少对该网站的访问频率。这是因为， Google 的算法倾向于优先爬行那些经常更新且内容保持相关性的网站。

因此，保持内容质量和定期更新很重要，因为如果内容长期不变，它可能会失去相关性和排名。定期进行内容审核有助于确保网站内容始终符合用户需求和当前话题。

改善网站与 Googlebot 关系的 3 种办法

重点不是让 Googlebot 频繁爬行网站，而是要多关注网站的内容和用户的需求。

1. 内容是否高质量？

创建内容时需要多关注的是整个主题，而不是堆积使用的关键词。因为许多网站采用的是围绕关键词生成特定内容，这种方法在过去可能有效， 但根据 2024 年的核心算法更新，这一方法反而会产生负面的影响。相反，Google 喜欢哪些深入探讨主题、为用户提供真正有价值的内容。这种方法更有可能通过算法的考验，获得更高排名，而不是仅仅是为了满足搜索引擎的需求。

2. 增加发布频率

定期发布新内容，可以让 Googlebot 更频繁的爬取你的网站。这意味着，无论是因为网站积极发布新内容，还是出于其他原因，如网站被黑客攻击并大量发布新页面，Googlebot 都会增加爬行的频率。但关键在于，你需要保持一个稳定的内容发布计划，避免”一劳永逸”的心态，认为一次更新就足够了。持续的内容发布不仅有助于吸引 Googlebot，还能保持网站的活跃度和相关性。

内容质量的一致性

只是保持一时的高质量的内容发布是不够的，你需要确保内容的一致性。内容的质量、主题的连贯性和对用户需求的长期相关性是至关重要的。如果这些因素 (质量、主题性、相关性) 下降，Googlebot 可能会减少对你网站的爬行频率。这也是 Google 算法对网站内容是否持续保持高质量的一个信号反馈。因此，定期审查和更新内容，确保它始终与用户需求和当前趋势相关，是维持网站健康发展的关键。

你可以观看 Google 的爬行与更新策略：(可以看 4 分钟以后的)

• 00:13 讨论爬行更新和策略
• 02:53 Google 的爬行频率不一定反映网站质量
• 07:54 网站所有者可能希望随着时间推移增加爬行频率
• 10:19 通过了解服务器限制和内容质量来优化爬行过程
• 15:32 只返回 HTTP 响应头可以提高效率
• 17:38 实施分区更改可以节省资源
• 22:05 爬行优化包括处理 URL 参数
• 24:22 URL 参数影响爬行效率
• 28:42 智能爬行的挑战
• 30:53 爬行效率取决于网站规模和资源意识
• 34:53 主机公司应帮助客户解决网站爬行问题
• 37:16 解决客户端连接问题的方法

猜你可能喜欢

• Google 推出了 2024 年 8 月的核心更新
• 8 个常见的 robots.txt 问题及修复方法
• 有效提升搜索引擎网站爬取与索引速度的 13 个关键步骤
• Google 计划为 Gemini 添加“深度研究”功能