seo关键词seo排名公司如何合理的设置谷歌抓取预算？

什么是谷歌抓取预算（CRAWL BUDGET）？

谷歌抓取预算指的是谷歌抓取目标网站的频率。对于新站来说，谷歌会赋予新站一个固定的抓取频次，然后后续根据网站的更新情况来定准确的抓取频率。抓取预算并不是一成不变的，它根据网站的规模，以及内容的更新而更新。

同时，还可以通过 Google Search Console 手动调整抓取预算。（一般默认都是最大值。注意：这个数据在旧版本的GSC工具中的Crawl Stats中可以查看），那么seo关键词seo排名公司如何合理的设置谷歌抓取预算？

抓取会对服务器产生一定压力，特殊情况会导致服务器宕机。但是，中小站长可以不用考虑这个因素，因为基本不可能发生。（别再问蜘蛛抓取过多怎么办，新站自然越多越好）

抓取预算会影响谷歌对网站的判断周期（主要反馈在索引效率，以及排名效率上）。

可以这么理解——抓取预算较高的网站往往新内容的索引效率，以及排名效率要比其它网站要快。

什么因素会决定抓取预算的高低呢？

1、标准的网站地图（Sitemap）

标准的网站地图，都会有一个参数——Last modified（最后修改时间），这个参数是告诉搜索引擎，当前页面最后更新的日期是什么。谷歌蜘蛛会定期抓取网站地图，通过最后修改时间，以及网站地图中链接的数量的变化来决定抓取预算。

原理很简单：如果最后修改时间不断在更新，说明内容变更频率比较快，那么谷歌抓取预算会上升。同理，如果每次抓取网站地图时，最后修改时间、以及链接数量都没有任何变化，那么抓取预算会降低。

事实证明——每当网站有大规模的网站内容、页面更新的时候，往往在当天或者是第二天会发现有大量的谷歌蜘蛛涌入网站的各个页面。我们通过最简单的蜘蛛日志分析就可以得到这样的结果。（蜘蛛日志，其实就就是服务器的日志）

如果网站地图不标准的话，那么可能会导致抓取预算和预期会有些差距。也不用抱怨，为什么网站迟迟不索引、或者是不参与排名，原因有可能就在网站地图上。

当然，如果使用的是大众化的开源程序，比如：Wordpress程序，那么大部分Sitemap插件都是标准的。

2、外部链接的数量

外部链接数量的增加，可以给自己的网站提供更多的蜘蛛入口。（什么是蜘蛛入口？就是谷歌蜘蛛爬进来的地方）更多的蜘蛛入口意味着更多次的抓取。

一般我的方法是，每做完一个新页面，至少保证一条有效的外链存在。让谷歌蜘蛛不管通过网站地图可以抓取到新的信息，同时还可以通过其它路径（入口）获取页面最新的信息。

这样做的另一个好处就是——给自己的新页面少许加些Link Juice的支持，让长尾词越早的参与有效排名。

3、谷歌算法

部分谷歌算法会影响网站的抓取预算。举个例子，过多的重复内容、低质量内容等就会导致抓取预算降低，甚至是不抓取。

优质的内容，自然抓取更频繁。

希望谷歌能够合理的抓取网站需要做到如下这几点

1、合理的网站结构

网站结构这里主要指的是网站目录框架（URL部分）以及网站层级。网站URL采用标准的静态化URL，目录深度不要超过3个目录（首页/分类页/内容页）。同时网站扁平化——即A页面到B页面的距离不要超过2次点击。（做到丰富的内链）。

2、加载速度

这个不用我多说了把，服务器慢的谷歌自然不会待见。如果想提高网站的速度，可以考虑优化下图片，或者是减少一些http的请求。

3、Http和Https适配

Https是加分项，做了总比不做好，同时注意http和https是否能够自动实现跳转关系。

4、重复页面

重复页面越多，其实代表的是网站体验越差，自然会影响谷歌对页面的打分。使用301跳转、亦或者是Canonical标签进行页面去重。

5、Robots.txt

不会把自己重要的页面用robots.txt协议给屏蔽了吧？同时注意，前端的JS以及CSS样式，也不能屏蔽。谷歌对JS和CSS有自己的判断。

6、多语言页面

多语言网站记得使用hreflang标签进行标记，原因和重复页面一样，为了去重。

总结

如果按照正常白帽SEO优化网站，不断的提升网站的用户体验，那么不会出现抓取预算的问题。所以好好检查一下网站地图，以及我上述的所有细节点。相信能够找到出现抓取预算问题的原因。

同时，抓取预算这块最直接的会反馈在网站的索引效率以及排名效率上。如果发现网站排名速度降低，新页面不索引的情况，基本可以考虑是抓取预算出了问题。那么可以根据这篇文章再详细排查。