唐山软件开发对爬虫的了解，有很深的经验，今天唐山软件开发就让站在我们肩膀上看网络爬虫，让你更清晰地了解网络爬虫，让你的软件获得更好的排名！
网络爬虫（webcrawler又称为网络蜘蛛（webspider一段计算机程序，从互联网上依照一定的逻辑和算法抓取和下载互联网的软件，搜索引擎的一个重要组成局部。
抓取策略：那些搜索引擎关键词排名软件是需要去下载的那些是无需下载的那些软件是优先下载的定义清楚之后，能节省很多无谓的爬取。
更新战略：监控列表页来发现新的页面；定期check页面是否过期等等。
抽取战略：应该如何的从软件中抽取我想要的内容，不只仅包含最终的目标内容，还有下一步要抓取的url
抓取频率：需要合理的去下载一个软件，却又不失效率。
让唐山软件开发及推广人员对“如何和网络爬虫对话”这个课题有了一些思考，下面归纳的主要用于迎合上面提到爬虫“抓取策略”
通过robots.txt和爬虫对话：搜索引擎发现一个新站，原则上第一个访问的就是robots.txt文件，可以通过allow/disallow语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取。关于robots.txt详细介绍：about/robots.txt
另外需要注意的allow/disallow语法的顺序是有区别的
通过metatag和爬虫对话：比方有的时候我希望软件列表页不被搜索引擎收录但是又希望搜索引擎抓取，那么可以通过＜metaname=robotcontent=noindexfollow＞告诉爬虫，其他罕见的还有noarchivnosnippetnoodp等。
关于metatag更多介绍：MetadataElements
通过rel=nofollow和爬虫对话：关于rel=nofollow最近国平写了一篇文章《如何用好nofollow很值得一读，相信读完之后你会有很大的启发。
通过rel=canon和爬虫对话：关于rel=canon谷歌软件站长工具协助有很详细的介绍：深入了解rel=canon
通过软件地图和爬虫对话：比拟罕见的xml格式sitemap和html格式sitemapxml格式sitemap可以分割处置或者压缩压缩，另外，sitemap地址可以写入到robots.txt文件。
通过软件管理员工具和搜索引擎对话：接触最多的就是谷歌软件管理员工具，可以设定googlebot抓取的频率，屏蔽不想被抓取的链接，控制sitelink等，另外，Bing
Yahoo也都有管理员工具，百度有一个百度站长平台，内测一年多了仍旧在内测，没有邀请码无法注册。
另外，这里面还衍生出一个概念，就是一直比拟重视的软件收录比，所谓软件收录比=软件在搜索引擎的收录数/软件真实数据量，软件收录比越高，说明搜索引擎对软件的抓取越顺利。
