g="za-cn"lang="za-cn">,IT网采用的是<html"ieie7"lang=&
限定爬虫。藏文APP搜索使用的爬虫,是一种限定爬虫,在爬虫的功能定位上只抓取藏文的APP,本质是对APP文本所用语言的限定。藏文APP的限定爬虫,表面上是限定语言,具体操作层面需要通过限定IP、限定URL、限定charset来实现。
限定爬虫就是对爬虫所爬取的主机的范围做一些限制,通常,限定爬虫包含以下几个方面:(1)限定域名的爬虫。,只抓取edu.cn结尾的域名;(2)限定爬取层数的爬虫。,限定只抓取2层的数据;(3)限定IP的抓取。,只抓取自治区内的IP;(4)限定语言的抓取。,只抓取中文汉字页面。
抓取藏文APP一方面要设计限定爬虫,另一方面建立动态更新的藏文APP域名库、藏文APP主机IP库,配合限定爬虫工作。目前已有部分藏文APP在页面中加入了标记,如中国藏学网采用的是<htmlxml:lang="za-cn"lang="za-cn">,IT网采用的是<html"ieie7"lang="bo-CN">,琼迈藏族文学网采用的是<htmllang="bo">。可以根据APP代码中的标记来识别判断藏文APP。藏文APP域名库和藏文APP主机IP库,需要人工操作,人为添加一些地址,这方面参照现在互联网广泛使用的“纯真IP数据库”实现。
