做SEO优化的人都知道搜索引擎的工作原理。看搜索引擎的工作原理可能听说过网站的抓取频率,那么什么是网站抓取频率呢?目前抓取频率太大或太小怎么办?以下小系列将向您解释,希望对您有所帮助。
什么是网站抓取频率?
①网站抓取频率是搜索引擎在单位时间内(天级)抓取网站服务器的总次数。如果搜索引擎抓取网站的频率太高,很可能导致服务器不稳定。Baiduspider会根据网站内容更新频率和服务器压力自动调整抓取频率。
②Baiduspider会根据站点服务器的压力自动调整抓取频率。
③建议您仔细调整抓取频率的上限值,如果抓取频率过小,将影响Baiduspider对网站的收录。
目前抓取频率过高怎么办?
您可以按照以下方法依次检查和解决频率过高的问题:
①如果您认为Baiduspider抓取了您认为的无价值链接,请更新网站robots.txt进行屏蔽抓取,然后在robots工具页面上生效。
②如果Baiduspider的抓取影响了您网站的正常访问,请到抓取频率上限调整页面,以降低抓取频率上限。
③如果以上方法无法解决问题,请到百度站长平台反馈中心反馈。
目前抓取频率太小怎么办?
您可以按照以下方法对频率过小的问题进行排查和解决:
①如果您已经设置了抓取频率上限,建议您先取消抓取频率上限设置,或者在抓取频率上限调整页面上调整抓取频率上限。
②如果您没有设定抓取频率上限,建议您先使用抓取异常工具,看看是否是抓取异常所致。
③如果你还觉得抓取量小,可能是你没有提交新链接,请去链接提交页面提交数据。
④如果以上方法无法解决问题,请到百度站长平台反馈中心反馈。