虽然Robots文件设置有风险的，但是如果你会设置，风险大于益处，Robots能有效地提高搜索引擎对你APP的访问，今天密云APP开发分享Robots的三个好处。
第一、合理的使用robots文件可以防止搜索引擎程序对于服务器的过分压力，我们知道，搜索引擎蜘蛛程序在抓取页面的时候，对服务器资源的需求是很大的，如果页面很多，而且页面中的调用组件比较多的时候，对服务器的压力尤其大，所以要使用robots文件适当的禁止一些文件被搜索引擎抓取，以减少对服务器的压力，对于APP中一些无意义的页面可以直接使用robots文件禁止被抓取。
第二、使用robots文件可以禁止搜索引擎对于一些APP中不公开页面的抓取及索引，例如APP中的一些模板文件，后台程序文件，执行程序文件，这些都是不需要被抓取的，在robots文件的禁止列表中，应该包含这些文件的URL，甚至有些在程序执行过程中所产生的一些临时文件，如果我们不禁止抓取，也很有可能被搜索引擎抓取到并索引。
第三、使用robots文件可以对一些重复页面进行处理，用robots对重复页面进行处理最典型的就是APP中一个页面存在多个URL的情况，比如一些ASP程序、PHP程序在执行过程中，有时候经常出现这样的情况，如果我们不采取一定的措施，很有可能会被搜索spider判定为重复内容，从而影响APP的权重，APP中出现重复页面的时候，要保留一个标准的url，其他的页面用canonical标注，或者直接用robots文件禁止收录一些重复的页面。
