的叶子节点通常就是要提取的文本信息。因此,通过一定的算法对Web页面的DOM树进行遍历,进行相应的筛查降噪处理之后,可以得到目标的文本内容。在实际的应用过程中,利用Web页面解析工具进行页面解析,并修正其中不规范的地方,构建Web页面的DO
Web页面文本提取相对比较复杂,这也正是本文研究的Web页面自适应转换系统的关键技术之一。对国内外的文献进行分析可以发现,Web页面的文本提取技术基本可以分为两类:基于DOM的Web页面文本提取技术和非基于DOM的Web页面提取技术。通常很多研究者会采用基于DOM的Web页面文本提取技术,其技术发展比较成熟。
Web页面的标签和标签之间、标签和内容之间都存在着层次关系,DOM树是描述Web页面结构的常用方法,DOM树的叶子节点通常就是要提取的文本信息。因此,通过一定的算法对Web页面的DOM树进行遍历,进行相应的筛查降噪处理之后,可以得到目标的文本内容。
在实际的应用过程中,利用Web页面解析工具进行页面解析,并修正其中不规范的地方,构建Web页面的DOM树并进行递归遍历,识别其中的非主要文本信息,广告、图像等内容,将噪声节点移除即得到文本信息。
