资 深 的 互 联 网 开 发 服 务 商
专注于 网站开发 / 小程序开发 / APP开发 / 软件开发
网十科技 > 网站开发 > 正文

对于不同网站robots文件分析以及经常会出现的细节错误

浏览3864次 发布时间:2021/05/05

Robots.txt文件不管是对于朝阳网站开发及优化还是网站安全来说都起着非常重要的作用,但是这个文件却经常会被很多网站维护人员所忽略,更有甚者根本就不知道这个文件的存在,对于不同网站robots文件分析以及经常会出现的细节错误。

错误一:Allow与disallow顺序颠倒

首先我们来看一段robots.txt语句:

Useragent: *

Allow: /

Disallow: /abcd/

这段语句初看朝阳网站开发可以得到目的是告诉搜索引擎在abcd目录下面的页面不能抓取,但是其他所有的页面可以。但是这段语句的实际效果如何呢?效果是背道 而驰的,为什么呢?我们知道搜索引擎蜘蛛对于robots文件中的规则的执行是从上到下的。这将会造成Disallow语句失效,正确的做法,是要把 Disallow: /abcd/置于Allow: /前才能发挥我们想要的效果。

错误二:屏蔽某一个页面时,页面名前没有带上斜杠“/”

我想这一点很多站长也很容易忽视掉,打个比方,我们想要对搜索引擎屏蔽在根目录下的abcd.html这一页面,有的人在robots上可能会这么 写:Disallow: abcd.html,表面上看可能没什么问题,但是笔者想要问一下你先告知搜搜引擎屏蔽的这一页面在什么目录下面?如果我们不带上的话,搜索引擎蜘蛛无法 识别是在哪一个页面。正确的写法是:Disallow: /abcd.html,这样才能真正的屏蔽位于根目录下面的abcd.html这一页面。

错误三:屏蔽的后面没有跟上斜杠“/”

同样举个例子,比如我们想屏蔽/abcd/这一目录下面的页面,有的人可能会这样写Disallow: /abcd。这样写是否有问题呢?这样写依然有问题,而且问题很大条。这样虽然可以屏蔽掉/abcd/这一目录下面的所有页面。但是这也会传递给搜索引擎 这样的信息,那就是屏蔽开头为/abcd的所有页面。效果等同于是Disallow: /abcd’*。这个错误将会给站点照成很大的影响。正确的做法是,在想要屏蔽的目录后面切记需要加上斜杠“/”。

对于robots.txt文件的重要性想必很多站长都深有体会。如果我们不重视这些书写的小细节的不仅会失去robotss.txt原有的效果,还会引起不必要的反效果。希望本文提出的这三个细节对于大家在写该文件的时候有所帮助。

7x24
售后服务支持
10
故障时长赔付
16
16年行业服务经验
20
售后服务人员
70
设计、开发团队
10
国内顶尖技术专家
1000
大型及上市企业
微信小程序开发客户中心

24小时业务咨询热线

13520390899

联系我们

资深的网站开发/小程序开发/APP开发/软件开发服务商!
地址:北京市顺义区科技开发园
企业邮箱:wang10com@126.com
企业QQ:471383197 企业微信:WangShiHuDong
相关推荐
平谷APP开发价格 密云APP开发费用如何计算唐山微信小程序开发哪家公司便宜 延庆app开发成本核算 平谷app开发报价说明 怀柔app开发成本核算 平谷APP开发费用如何计算 密云app开发成本核算怀柔APP开发价格 延庆app开发报价说明 延庆APP开发费用如何计算延庆APP开发价格
版权所有 © 北京网十互动科技有限公司 备案京ICP备16050073号-2 网站地图

在线咨询

电话咨询