什么是搜索引擎蜘蛛抓取份额?如何提高抓取份额

  • A+
所属分类:网站优化

『本文热词:SEO优化,搜索引擎优化,SEO技巧,SEO搜索引擎优化,郑州网站优化』

什么是搜索引擎蜘蛛抓取份额?最近,google新的seo代言人GaryIllyes在google官方博客中,讨论搜索引擎抓取份额相关问题。这对于大中型网站来说,是一个非常重要的seo问题,因为有些网站会因为这一问题而导致网站自然流量出现瓶颈。下面,小编将详细分析相关内容,这些内容不但跟google有关,对其他搜索引擎同样适用。

什么是搜索引擎蜘蛛抓取份额?

搜索引擎蜘蛛抓取份额指的是,搜索引擎蜘蛛花在网站上的抓取页面的总时间是相对固定的,不会无限制地抓取网站所有页面。而影响抓取份额的因素主要有两个:抓取需求和抓取速度限制。

抓取份额是由什么决定的?

☆抓取需求

抓取需求值得就是搜索引擎「想」要抓取特定网站多少页面,而这也有两个因素影响。一、页面权重,页面权重越高,搜索引擎就会越喜欢抓取你的页面;二、网站内容太久没有更新,搜索引擎会觉得这个网站已经「荒废」,那么就会逐渐减少抓取你的网站的次数。

☆抓取速度限制

搜索引擎是不会为了抓取更多页面,而把人家网站服务器拖垮的,所以对网站抓取速度都会设定一个上限,这也是服务器能承受的上限。如果服务器反应速度够快,那么抓取速度限制就会上调一点,加快抓取;反之,抓取速度就会减免,甚至停止抓取。

总之一句话,网站权重高,页面内容质量高,页面够多,服务器速度够快,那么搜索引擎抓取的份额就会越大。

 搜索引擎蜘蛛抓取份额会影响哪些网站?

☆小网站:不必要担心抓取份额

一般来说,小网站页面数比较小,所以搜索引擎蜘蛛抓取的页面再少,每天至少都能抓取几百个页面,一般大概半个月到一个月左右就能全站抓取以便,所以一个网站几千个页面,甚至是数万个页面都不用担心抓取份额的事情。

什么是搜索引擎蜘蛛抓取份额?如何提高抓取份额

什么是搜索引擎蜘蛛抓取份额?如何提高抓取份额

从图上可以看出,这种seo每天一贴的小网站,页面抓取频次和抓取时间都没有太大的变化,说明了搜索引擎没有抓完份额,所以站长不用担心。

☆大中型网站:可能需要抓取份额

几万页以下的小型网站可以不用担心抓取份额的问题,但是几十万页以上的大中型网站可能就要考虑这个问题。例如,网站有1千万的页面,而搜索引擎每天只能抓几万个页面,那么如果要把网站抓一遍可能需要几个月甚至更长时间,这就意味着有些重要页面可能没办法被抓取,所以就没排名或者不能及时被更新。

所以要想网站页面被及时、充分抓取,就要保证服务器够快,页面够小。如果网站有海量高质量数据,就要提高页面加载速度,提高抓取速度限制,从而提高抓取份额。

什么是搜索引擎蜘蛛抓取份额?如何提高抓取份额

搜索引擎优化

从图可以看到,抓取时间改善会导致抓取频次上升,使搜索引擎浏览网站的速度加快,更多页面被抓取收录。

另外,中大型网站还要考虑不要把有限的抓取份额浪费在无意义的页面上,导致其他重要的页面没有机会被抓取。

怎样节省搜索引擎抓取份额

1、降低页面文件大小,提高服务器速度,优化数据库,降低抓取时间

2、尽量避免不要把抓取份额浪费在无意义的页面上

3、某些情况下,使用连接nofollow属性节省抓取份额。

·nofollow属性在一定程度上可以控制网站权重流动和分配的,精心设计的nofollow会使无意义的页面权重降低,提升重要页面权重。

总结:对于大型网站,如果想要提高搜索引擎蜘蛛份额,首先要确保服务器的速度够快,页面够小,其次就是不要把抓取份额浪费在无意义的页面上。当然,如果是小型网站就无需要担心抓取份額的事情。

以上就是关于【什么是搜索引擎蜘蛛抓取份额?如何提高抓取份额】的文章内容,如果您还想了解更多关于SEO优化与SEO技巧的相关文章,请继续查看【郑州网站优化】栏目的其它文章,或请关注郑州SEO凯瑞博客(www.krseo.cn)。

郑州SEO凯瑞

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: