谷歌的John Mueller回答了关于在500个错误响应代码的问题上的问题,使GoogleBot不太经常爬网。 Mueller解释了500个响应代码不会影响爬行的情况,并且当他们可能导致页面才能从谷歌的索引中删除。
意外阻止了Googlebot并造成500个错误
提出问题的人解释说他们的内容传递系统设置为阻止糟糕的机器人,同时允许实际的人类用户和合法机器人浏览该网站。
一切正常工作,直到他们更新了他们的“服务器监控套件”,显然是之前的机器人阻挡过滤器并且设置并未携带到新系统。
后来他们注意到Google搜索控制台开始列出500个错误响应撰写响应于Googlebot爬网的守则。
完成解释发生的事情然后问了问题:
“问题来自我们的技术团队这代表了真正的用户影响以及为什么我们在GoogleBot上看,而不是真正的用户指标,以证明这里有一个问题。
所以,考虑到这个上下文,我有几个问题。
首先是为了让技术令人担忧……
从你的角度来看,Googlebot查看500系列错误如何,您可以在既定的……谷歌将…爬网源的阈值内容……基于这些错误?“
读数下方
是什么500错误代码?
服务器通信AV状态响应代码的恐吓和机器人。这些响应代码例如,例如页面的请求是成功的,重定向到另一个页面,阻止或不成功。
200响应代码通信网页的请求成功。500响应代码意味着对网页的请求不成功。
500响应代码的正式名称为: “500内部服务器错误”
还有其他版本在500个响应代码中传达了一个特定原因,为什么网页的请求不成功。
500响应代码有点通用,因为它只是意味着页面请求不成功。但它通常意味着服务器下降但并不总是如此。
谷歌searcH控制台和500错误响应
监控搜索控制台的一个好主意,因为它们是一个错误的指示器,因为它们是错误的。
有时它可能意味着服务器是在沉重的负载下,例如来自太多机器人,因为它无法为网页提供服务。
在这种情况下,在
下面的广告联交影读数在这种情况下,问题是由于内容传递网络中的错误配置( CDN)无意中阻止了Google访问网页。
Googlebot索引受到500个错误的影响如何
穆勒提供了有用的解释Google响应500错误代码以及最终的步骤持续的错误可能导致那些从谷歌的S删除的网页eacch指数。
谷歌的约翰穆勒回答说:
“”我们没有任何强有力的阈值。
但基本上是什么发生在500个错误中是我们尝试重试它们。
如果我们继续看到…… 500错误然后我们会……慢慢爬行。
以及如果我们继续看到这一点有500个错误,然后我们将从索引中删除那些网址。
所以如果每个现在然后单个页面都有500个错误,那就是没有大的交易。
我们将重试他们,他们将保持索引,下次我们重试一下那很好。
下一个,穆勒解释说,在谷歌本身造成的情况下,谷歌慢慢减慢的原因是服务器过载。
“但如果很大程度上一个网站一直有500个错误,我们可能会假设我们可能会导致问题,我们会减慢整个网站的爬行,并在某些时候,我们会说得好,看起来这些页面真的消失了,我们“重新删除它们。 所以这基本上是你在那里看到的效果,如果你在谈论一个大型网站并想知道500错误的百分比是什么……我不知道。
我的感觉是,如果你看到超过一个百分之一的东西,那么听起来像某种东西是一种破碎,可能会成为我们将开始放缓的东西。
但我不“认为我们有任何硬盘,我们说的许多请求和这种错误意味着这种速度很大。”
广告联系读贝洛w
监视器搜索控制台500错误
这取决于每个发布者决定他们的日常生活是什么。对于某些人每周检查搜索控制台的人足够。有些人可能会发现每天检查一次搜索控制台,以便响应不可预见的情况。
在任何情况下,500个错误代码是监视搜索控制台的东西。正如John Mueller所提到的那样,大规模500个错误可能是一个错误的旗帜,有些东西是错误的,需要立即注意。
CITATIONS
世界范围的网络财团(W3C)列表服务器响应代码
Google如何响应500次响应代码?