如图:有些页面是“已发现–尚未编入索引”,有些页面则是“已抓取–尚未编入索引”。
我们在指导手册中没有找到解决方法。手册大多数内容都是指导性建议,如内容重复、内容质量低下等。并非所有页面都是重复或者质量低下,这些只是惯用说辞罢了。那谷歌为什么没有抓取页面呢?
可能原因:
1、页面数量过多,抓取队列超载
谷歌用于抓取和索引的服务器和数据库资源是有限的,抓取队列超载,暂时没有额外的抓取资源分配到该网页上,只能另外安排时间。至于什么时候安排,可能得看谷歌爬虫心情了。我们无法预测或保证谷歌何时或是否会抓取我们的页面。
2、页面质量
谷歌算法非常聪明,这意味着并不会抓取和索引所有的页面。如果谷歌认为这些网页暂时没有太大的抓取价值,并不觉得花时间抓取是非常重要的,所以并没有将这些网页加入到抓取队列。
谷歌建议,尽量减少页面数量,提升页面内容质量。
因此,我想分享我们团队用来解决这些问题的两种策略。
第一种是“等待”。有时,这些问题可能是由于网站被分配的爬虫抓取资源有限,我们可以等几天看看谷歌搜索引擎是否会收录这些内容。另外,我们还可以通过下列几个方法修复:
1、增加内链
从自己的网站中更多地链接到该页面。增加谷歌优先抓取页面的可能性(通过其它页面引导)。同时也间接告诉谷歌这个页面有价值。
2、增加内容价值
保证页面内容独一无二,和其它页面无重复,且对用户有用。
3、页面数量是否能压缩
对于内容很相似的页面,可以挑重点页面进行优化,并且进行记录,观察后续变化。
若网站是个老站或者降权站,一直不收录的,想来个彻底优化,焕发新生。
可以试试这个方法,修改文章的标题和链接地址信息,将那些不被收录的内容包装成一个“新的”内容,然后再去请求收录。根据我们的经验,这种方法有80%的概率能够成功。
👋 感谢您的观看!
© 版权声明
THE END