1.在首页多展示未被抓取的网页的URL
我们先需要把未抓取的URL列表提取出来,然后我们可以把这些URL在首页展示,以增加被搜索引擎抓取的机会,许多网站之所以在首页有新文章版块、随机展示版块,其实也大都是为了增加被搜索引擎抓取的机会从而增加网站页面的收录,首页的权重是一个网站中较高的URL页面,往往也是蜘蛛最活跃的页面,所以在首页展示往往可以增加收录。
2.灵活调整搜索引擎的抓取频率
在谷歌网站管理员工具中,其中有一项就是我们可以根据自己网站的情况,调整搜索引擎的抓取频率,在默认的情况下,谷歌是按照你的网站的服务器承认情况,来调整它的抓取频率的,它的原则就是在你服务器能够承受的情况下、尽可能多的去抓取。因此,如果我们想提高它的抓取频率,我们可以在这谷歌网站管理同工具里边进行调整,当然这个只能是针对谷歌的。
3.多发一些网站列表页URL的外链
苏州网站建设在SOSO的官方SEO指南中,曾经提到过这一点,也就是说我们可以专注于我们的列表页,可以给一些列表页多发一些外链,因为列表页里边的有效URL比较多,当搜索引擎蜘蛛抓取到列表页后,就会抓取列表页中的产品URL,从而增加我们的收录。
4.分析搜索引擎的抓取日志
当我们的网页被收录之前,首先是需要搜索引擎来爬行、抓取的,当搜索引擎抓取到你的页面后,而且它觉得你的文章质量符合它的收录标准的时候,它就会把你的网页收录进它的索引库、 然后经过处理给予你的网页相应的关键词的排名,而分析日志,可以清楚的知道我们哪些页面被抓取了,哪些页面没有被抓取,网站的每个目录的抓取情况,这样我们可以采取相应的措施来促进搜索引擎的收录。