在北京网站开发中北京网站开发及优化是每个网站不可或缺的一部分。北京网站开发及优化中最核心的就是搜索引擎蜘蛛的爬行。搜索引擎蜘蛛在爬行网站的时候分为很多形式，作为一名搜索引擎关键词排名新手是很必要知道一下搜索引擎爬行的方式。
线性爬取方法
线性爬取的思路是，爬虫从一个给定的URL种子开始爬行，然后对每个URL地址信息进行增量搜索爬取，不考虑网站的HTML文件其他超链的网站地址。因此，线性爬取思想不适合于大范围的网页搜集，然而，完全适用小范围完整的网页搜集，采取线性爬取方法能够在网页集合里搜集少量或者没有参考其余的HTML文件引用的新HTML文件的源头。
深度优先爬取方式
深度优先爬取方式的思路，是研发爬行器最早采用的一种策略，深度优先爬行方式的目标是遍历到被查找的结构的叶子结点。这种爬行方式追踪HTML文件里全部的超链，遍历所有的超链接，一直爬行直至无法继续往前搜集更多的链接，这时，爬虫会返回到上一结点的HTML网页，接着从这个HTML页面中所有的超链开始继续遍历，重复上一步的操作，如果没有更多的超链接可以继续遍历，表明网页爬取已然结束。深度优先爬行方式适用于搜集一个特定的网站或者深层次嵌套的HTML页面集，但是，对于大范围内的网页爬取，因为网络资源相当丰富，相对来说网络结构非常深，爬虫爬行到一定的程度也许就无法再走出来了，这就是所谓的死链。因此还是不适用于大规模Web结构。
广度优先遍历方法
广度优先遍历方法，基本思想是：第一，搜集相同层次中的所有网页；第二，搜索下一级别的网页；第三，假如，种子URL对应的HTML网页中，有三个不同的超链接，爬虫会先对其中的一个HTML网页，进行分析处理，结束之后，爬虫会返回到该层，对刚才的HTML文件中的其余超链逐个进行分析处理。反复以上操作，直至该HTML页面中全部的超链均被分析处理。这种方式，能够保证浅层次的第一次遍历搜集，对于丰富深层次的网络资源，不会发生钻进去出不来的情况。这种广度优先的搜索方法更容易实现，目前也被广泛的设计使用，广度优先搜集方式的不足之处在于，搜集深层次的网页需大量的时间。
收录搜集策略
某些网页能够通过用户自己提交的方式来搜集，比如说：某个商业站点向某个检索系统应用程序提出申请，接下来，这个检索系统会获取到他们提出申请的页面资源，搜集到商业站点的信息数据之后，把商业站点数据信息增添到检索系统索引库中。
