搜索引擎为了抓取尽可能多的页面，它会自动跟踪页面的链接，通常采用广度优先、深度优先这两种遍历方法。理论上说，无论是采用深度还是广度策略，只要给蜘蛛足够的时间，都能抓取到网站页面内容，但是实际情况是，搜索引擎蜘蛛的宽带资源、服务器资源等等，都是有限的，因此从实际情况来看，蜘蛛也只能是抓取到互联网页面内容的一小部分，还有很大部分的页面，蜘蛛抓取不到。

那么在这种网站之间激烈竞争的态势下，如何通过吸引蜘蛛来提高网站的收录呢?小编认为，要想自己的网站能够被蜘蛛尽量多抓取，就要想方设法吸引蜘蛛来到您的网站来抓取。既然搜索引擎蜘蛛不能抓取所有页面，哪么它就会抓取一些重要的页面。具体哪些会被蜘蛛认为是重要的页面呢?有以下几点影响因素：

高权重、内容更新快且质量高，资格老的这些网站，会被搜索引擎认为是首先要考虑抓取的网站，这类网站通常由于优先被搜索引擎蜘蛛爬行，因此无论首页、内页都会被大量收录，且收录快照更新快。

更新效率快的网站。蜘蛛一旦把您的站点放入收录数据库中，且被蜘蛛所信任后，它就会经常来到这类站点，来查看是否有最新更新内容，如果有页面更新内容，页面出现很多新的链接，哪么蜘蛛收录更新的速度也会相应提高，反之则大大降低收录快照更新效率。

导入链接多且广泛。外链、内链，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。导入链接多且广泛的站点，通常被蜘蛛爬行的深度也相应增加。

首页链接的权重相对较大。蜘蛛普遍认为，网站的首页是权重最大的，因此距离网站首页越近的链接，同样的页面的权重也越高，被蜘蛛爬行收录的几率也越大。