sExclusionProtocol)，APP通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取.当一个搜索蜘蛛访问一个站点时，它会先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容
，APPurl设置必须简短有意义.此类设置经常用于cms搭建的APP，我们经常看到的有之梦的cms，当我们在创建一个栏目的时候，默认的是以该栏目的生成时间以及名称作为栏目和文章的url地址，这个地址非常长，并且对于搜索引擎及其不，其他站点也是一个道理，所以在进行内容更新之前我们先要做到栏目和文章路径的url优化，要修改的地方在dedecms的后台，系统——系统基本参数.
栏目管理里文章命名规则{typedir}/{Y}/{M}{D}/{aid}.html改为{typedir}/{aid}.html删除中间的日期或者把中间部分改为栏目的简拼或者全拼的方式，列表列表命名规则{typedir}/list_{tid}_{page}.html改为{typedir}/list_{page}.html删除中间生成的tid缩小文章页的路径.
第二，APP的404页面设置.404页面主要为一些失效的无法打开的APP链接准备的，很多APP由于改版或者数据库的更新导致url出现无法打开的情况发生。404页面的作用是什么？一旦出现APP无法打开，这个时候我们就要通过404页面进行的提示用户返回到我们APP的页，这样引导用户继续访问其他的页面，增加了我们APP体验度和用户浏览时间，大家可以根据自己喜好选择页面布局方式，但是注意底部的返回页是必须要保留的.
第四，APPRobots协议设置.Robots协议全称是“网络爬虫排除标准”(RobotsExclusionProtocol)，APP通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取.当一个搜索蜘蛛访问一个站点时，它会先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围.具体的设置方法，笔者在这里举例说明：其他更多的知识可以通过百度搜索了解.
1)、禁止所有搜索引擎访问APP的任何部分
User-agent：*
Disallow：/
2)、允许所有的robot访问(或者也可以建一个空文件“/robots.txt”file)
User-agent：*
Allow：/
3)、禁止某个搜索引擎的访问
User-agent：Baiduspider
allow：/
第四，APP地图的设置方法.常见的APP地图一般包含2种，一种是html静态地图，一种是xml格式的地图，xml格式的地图主要是站在搜索引擎角度以一种索引的方式搜索引擎可以理解的形式告知搜索引擎，以提高APP的收录.另外一种是html格式的，这种一般是对APP的结构栏目为呈现方法，将APP的页以及各级重要的栏目页和列表页以链接的方式展示出来，方便用户查看APP内容.这些细节都是为了提升APP对于搜索引擎的度，提升搜索引擎抓取重点页面的效率而进行的基础优化.
