每个SEO专业人员都不会成为运行技术检查的集合频率。
每个站点都有自己的开发发布时间表，出版节奏和可能影响需求的其他变量的多数变量有关技术分析。
那么应该多久应该如何
你对SEO进行技术网站爬行？这取决于。
这取决于什么？这是一个至关重要的问题。
让我们快速看看一个网站爬行以及为什么我们在潜入潜水之前运行它们的原因。
什么是技术SEO网站爬行？
网站的爬网是当A
软件的“爬虫”或BOT 时，访问网站上的每个页面提取数据。这类似于搜索引擎的机器人如何访问您的sITE。
它将遵循您通过尊重或忽略您的
robots.txt 的命令，告诉它遵循或忽略nofollow标签，以及您可以指定的其他条件。
广告联系读数下面
它将通过以下链接和读取XML站点地图爬网，然后抓取它可以找到的每页。
如此，爬虫将带回有关页面的信息。这可能是服务器响应代码，如404，页面上的没有索引标签，或者是否将阻止机器人通过robots.txt阻止爬行它。
它也可能会带回HTML信息如页面标题和描述，站点的架构的布局以及发现的任何重复内容。
所有这些信息都为您提供了强大的捕捉您网站的热门能力爬行和索引。
它还可以突出显示可能影响排名的问题，例如负载速度或丢失的元数据。
技术SEO网站爬行的目的
当您进行网站的爬网时，通常可以识别可能影响以下一个或多个可能影响的问题：
爬行。索引 .RANKENSS.ADVERTISENTCONTINUE读数以下
一旦您拥有软件就可以轻松作出遗迹。如果您正在寻找现场或当前的网站问题，经常爬行它是有道理的。
为什么你没有一直爬网？
在SEO ，有近无限的任务，我们可以在任何特定的时刻进行 – Serp分析，刷新元标题和重写副本，希望在其中较高的希望。
没有这些活动背后的战略，你最能分散自己的注意力。在最糟糕的情况下，您可以降低您的网站的表现。
如其他
SEO任务，网站爬行时必须有一个策略。
翻盖侧问题“您应该多久执行一次技术网站爬行？”是理解为什么你
不会一直运行它们。
基本上，他们占用时间和资源 – 如果不是运行，那么至少要有效分析。
时间
向网站爬网程序添加一个URL并单击Go不是一个特别繁重的任务。如果您安排爬行以发生自动安装，则变得更少的时间流失Y.
为什么为什么时间是您抓取网站的频率的决定因素？
这是因为如果您不打算分析结果，则没有意义。这是需要时间 – 对数据的解释。
您可能很好地有软件突出显示颜色编码的流量光照系统中的错误，您可以快速击败您的眼睛。这不是分析爬行。
你可能会错过这种方式的重要问题。您可能会在一个工具上过度依赖于一个工具来告诉您您的网站是如何优化的。
虽然非常有帮助，但需要与更深入的检查和分析耦合那些报告，以了解您的网站如何支持您的SEO策略。
您希望建立这些自动报告的原因可能是很好的原因经常运行。您可能有一些问题，如您想要每天提醒的服务器错误。
这些应该被视为警报，以及可能需要更深入的调查的警报。对您的爬行的正确分析，了解您的SEO计划，需要时间。
您有能力或需要，您是否有能力或需要进行全面爬行
并每日分析
资源
为了抓取您的网站，您将需要软件。
一旦您支付许可费，某些软件可以自由地以无限制的方式使用。其他人会根据您使用它的情况而向您收取费用。
如果您的爬行软件成本是基于使用的，每天爬行您的网站可能是成本禁止的。你可能最终使用你的月份的津贴t早期，意味着在需要时无法抓取网站。
服务器应变
遗憾的是，某些网站依赖于不特别强大的服务器。结果，爬行太快或繁忙时间，可以将网站带下来。
我已经遇到了从服务器管理器到SEO团队的疯狂呼叫询问我们是否再次爬行该网站。
我还在robots.txt中阻止了爬行工具的网站工作，希望它会阻止过度的SEO脱离网站。
以下
读数
这显然不是一个理想的情况，对于为较小的公司工作而言，这是一个太常见的情景。
安全地爬行了网站可能要求
工具
放慢速度，渲染过程更加耗时。
它可能意味着与个人维护服务器的个人联系，以确保他们可以为爬行做好准备。
删除您网站的替代方案
您不一定需要每天爬网，以便接受问题。您可以通过放置其他进程和工具来减少对频繁爬网的需求。
更改监视器的软件
一些软件可以监控您的网站以实现各种变化。例如，您可以为单个页面设置警报，以监视内容是否更改。
如果您对SUC至关重要的转换页面，这可能会有所帮助您的网站的CESS，您想知道任何人对他们进行了更改的那一刻。
广告Continue读数下面
您还可以使用软件来提醒您到服务器状态，SSL到期，Robots.txt更改，XML SiteMap验证问题。所有这些类型的警报都可以减少您需要抓取网站以识别问题的必要性。
相反，您可以保存那些发现问题并且需要纠正问题的爬网和审核。
通知改变/计划的SEO专业人员的流程
以尽量减少爬网的需要往往是通过与其他团队成员的流程放入，让您在可能发生的更改循环中网站。在大多数情况下，这比在大多数情况下做得更容易，但是灌输的良好做法。
如果您可以访问开发团队或机构的票务系统，并且与项目经理经常通信，您可能会知道部署时可能会影响SEO。
即使您不知道什么如果您了解部署日期，滚出将会更改，您可以安排爬网将发生在它们周围。
通过留下新页面的情况下，在下面
下面的广告传票读数，内容将会成为重写或推出的新产品，您将知道何时需要爬行。
这将节省您需要在变更情况下每周预先爬行。
自动爬行报告
如上所述，爬网工具通常允许您安排爬行。你可能是在积极的地方就此而言，这是您的服务器，您的进程可以承受。
最后一个富有洞察力的报告。
您可以将爬网的结果输出到仪表板中，该仪表板提醒您对您所关注的特定问题。
例如，它可能为您提供返回404服务器响应的页面卷的快照随着时间的推移增加了。
这种自动化和报告可以给您提供更具体的爬行和分析，而不是需要非常频繁的人 – 发起爬行。
在下面的爬行时读数读取何时应该完成爬行？
a我们已经讨论过，频繁的爬行只是为了检查现场健康，可能是必要的。
爬行应该真正在以下情况下进行。
在开发或内容之前更改
如果您正在为更改准备您的网站 – 例如，内容迁移到新的URL结构 – 您需要抓取您的网站。
这将帮助您识别如果页面上已经存在的任何问题，这些问题可能会影响其迁移后的性能。
在开发或内容更改即将在网站上执行之前爬行您的网站确保它在这种变化为正的最佳条件。在进行实验之前
如果您正准备执行an实验在您的网站上，例如，检查拒绝垃圾反向链接可能有哪些效果，需要控制变量。
爬行您的网站以了解任何可能影响结果的其他问题实验很重要。
下面
的广告联系读数您希望能够放心地说，这是禁止文件，导致您网站陷入困境的区域，而不是那些网址的排名负载速度在同一时间左右增加。
发生了一些事情
你需要检查你网站上可能影响代码的任何主要变化。这将需要技术爬行。
例如，在
迁移之后
，一旦新的开发变化一直是deployed或工作要添加模式标记到网站 – 任何可能已被打破或未正确部署的任何东西。
当您警告问题
时可能是您通过工具或人类发现，提醒技术SEO问题，如破损的页面。这应该启动 – 启动爬网和审计过程。
爬网的想法将确定问题是否普遍或包含在您已经提醒的网站的区域。
广告联系读数下面
有什么可能影响你需要执行技术SEO爬行的频率？
没有两个网站是相同的（除非你的克隆，但这是一个不同的问题）。基于各种因素，网站将具有不同的抓取需求和审计需求。
地点的大小，其有限公司混乱的混淆可能会影响爬网的需要频率。
尺寸
如果只有几页很低，则需要经常抓取您的网站。
你很清楚你对小型站点进行了哪些变化，并且很容易发现任何重要的问题。您牢牢地在任何发展变化的循环中。然而，企业网站可能是成千上万的页面大。这些可能会有更多问题出现，因为在一次数百页上部署数百页进行了更改。
只有一个错误，您可以找到一大批页面一次受到一次影响。大小可能需要更频繁的爬网的网站。
以下
类型
您正在处理的网站类型也可能也是diCtate需要爬行的频率和定期。 一个信息网站，其核心页面几乎没有变更，直到其年度审查可能需要逐渐爬行，而不是产品页面的经常生活。
电子商务
电子商务网站
谈到SEO的特殊细微差别是股票。产品页面可能每天都在线，产品可能会频繁缺货。这可以提高需要快速处理的技术SEO问题。
您可能会发现一个网站处理备用产品的方式是将它们重定向，暂时或永久。它可能是备用产品返回404代码。
无论选择与它们交易的哪种方法，您都需要成为Aler当它发生时才达到这一点。
您可能会诱惑每天爬网以拾取这些新的或已删除的页面。虽然我们已经讨论过，有更好的方法来识别这些更改。
下面
网站监控工具将向您提醒您返回404状态代码的页面监控工具。但是，额外的软件可能会超出当前预算。在这种情况下，您仍然需要每周或更长时间爬网网站。
这是自动爬行以捕获这些问题的示例之一。
新闻
新闻网站倾向于经常添加新页面;每天可能有多个新页面，有时是大型新闻网站的数百个。这是每天发生的网站的大量变化。
根据您的内部流程，这些新页面可以很好地介绍它们将如何影响网站的SEO性能……或者很少。
论坛和用户生成的内容
任何具有通用公众增加内容的能力的站点都会产生增加的技术SEO错误的风险。
例如，破碎的链接，重复内容和缺少元数据在与论坛的网站上都是常见的。
以下广告联系读数下面这些场地可能需要比仅允许由网站管理器发布的内容站点更频繁的爬网。
多个发布者
在触发技术SEO问题时，具有少量模板类型的内容网站可能会发出相对较低的风险。不幸的是，如果你有“许多厨师”，则会有肉汤被宠坏的风险。
对如何形成URL的理解，或者是关键的CMS字段，可能会产生技术SEO问题。
虽然这是一个真正的培训问题，但仍有需要增加需要在完成培训时爬行网站。时间表和节目
其他要考虑的重要因素是贵公司其他团队的时间表。 您的开发团队可能在两周的冲刺中工作。您可能只需要每两周爬一次您的网站，以查看他们对SEO努力的影响。如果您的作家每天发布新博客，您可能希望更频繁地爬网。广告联系读取下面结论技术网站爬行没有一个尺寸适合的计划。您的个人 SEO策略，网站的流程和类型都将影响到进行爬行的最佳频率。您自己的能力和资源也会影响本时间表。 对您的SEO策略进行体贴，实施其他警报并检查，以最大限度地减少对频繁网站爬行的需求。 您的爬网不应该是网站维护刻度箱锻炼，而是应对预防或反应性需求。 更多资源： 非技术营销人员的技术SEO清单技术SEO：为什么它比以往任何时候都更重要先进的技术SEO：一个完整的指南
