摘 要：先将网页转换为规范的DOM树，然后计算每行文本的文本密度、与标题相关度等值，并将其作为输入参数利用BP神经网络进行训练，进而形成抽取规则，最后通过实验验证该方法的可行性。
关键词：信息提取；神经网络； 统计学习

随着互联网的普及，网络成为人们获取信息的重要途径。而互联网上的信息量也与日俱增，网页上的内容除了主题内容外，通常都会在页面中放置导航条以方便用户访问，还有如广告、版权信息、欢迎信息等与主题无关的内容，我们称之为"噪音"。怎样去除这些噪音，将网页中的正文内容提取出来，从而提高人们的阅读效率，这在垂直搜索和数据挖掘方面具有重要意义。在这个领域已经发表了很多的研究成果，这些研究成果从不同的角度入手，有的只利用网页本身的特征，有的还与其他技术相结合，使网页正文抽取的准确性和完整性得到不断提高，但还没有一种方法能达到人们期望的程度，还需要不断地研究和探索。
1正文抽取相关研究
到目前为止，已经发表的网页正文内容抽取方法有很多种，其分类方式的依据也不尽相同，下面介绍几种较为常用的抽取方法。
(1) 基于模板的方法
这种技术依赖HTML文档的内部结构特征来完成数据抽取，需要使用wrapper(包装器)来抽取网页中的正文内容。包装器可以通过分析网页源代码来手工编写，也可以通过程序自动或半自动的实现。手工编写的方法一般都针对特定的网页模式，其优点是实现简单、准确率高，缺点是对于不同的网页模式或网页结构发生变化时需要重新编写包装器，如果包装器类型很多，包装器的维护代价会很大，但由于该方法的准确性较高，所以在针对特定网站的抽取中应用很广。自动或半自动地生成包装器的方法在一定程度上减轻了维护包装器的工作量，但是需要样本学习，对用户要求较高。
(2) 基于统计的方法
这种方法从页面的不同角度分析它的统计特征，采用统计学的算法抽取正文。例如根据统计的文字数量、链接数量、标签字符数量等计算出文本密度、链接密度等，并通过这些值来判断哪些为正文文本、哪些为噪音内容。参考文献[1]提出一种通过分析页面文本密度进行正文抽取的方法。这种方法实现简单，并且不需要编写包装器，但提取的准确率有限，有时会将与正文无关的版权声明等当作正文内容提取出来。
(3) 基于神经网络的方法
由于神经网络具有优越的非线性处理能力和泛化能力，因此在很多实际领域中都取得了传统符号学习机制难以获得的效果。文献[2]搜索结点的输入连接权，通过找出权值之和超过阈值的连接权子集来抽取规则。参考文献[3]利用多层网络度量输入之间的接近程度，并利用单层抑制性网络度量输入、输出相关度，从而获得抽取规则。
参考文献[4]针对新闻类网页及类似布局的页面，在对页面文本密度进行统计之后对文本密度与页面标题、正文之间的对应关系进行分析，以对传网络(CPN)为工具，对文本密度在标题、正文等语义块中的分布模式进行拟合，从而达到抽取目标信息的目的。
参考文献[5]中以行为单位对网页源代码中的每一行计算其相关的六个属性，并以此作为BP神经网络的输入参数进行学习。由于该算法未对文本内容和标题的相关度进行判断，所以导致会将一些网站的版权声明当作正文内容错误地提取出来。所以通过计算文本内容和标题的相关度来区别是否为噪音是合理的。本方法以行为单位对DOM树进行处理，将每行的文本密度、文本内容与标题的相关度作为输入参数利用BP神经网络进行训练，从而提高信息抽取的准确度。
2 算法描述
2.1BP神经网络模型
BP算法属于Delta学习规则，是一种有教师的学习算法，是以网络误差平方和为目标函数，按梯度法(gradient approaches)求其目标函数达到最小值的算法。一个典型的BP神经网络包括：(1)由一个输入层x、一个(或多个)隐藏层y和一个输出层o组成的三层或多层结构；(2)处理单元（图1中的圆圈）是网络的基本组成部分，输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据传递函数计算输出值；(3)联接权重(如图1中v,w)将神经网络中的处理单元联系起来，其值随各处理单元的连接程度而变化；(4)阈值，其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系;(5)传递函数F，它是将输入的数据转化为输出的处理单元，通常为非线性函数。

输入层和输出层的结点个数可以根据训练集来确定，而隐藏层的结点却需要试验判断。如果隐藏层结点数过少，网络就不能具有必要的学习能力和信息处理能力。如果隐藏层结点数过多，不仅会大大增加网络结构的复杂性，网络在学习过程中更易陷入局部极小值，而且会使网络的学习速度变得很慢。
2.2 利用人工神经网络进行正文提取
网页的类型大体上可以分为三类：(1)文字多图片少的内容型网页，如新闻网页；(2)以图片为主文字介绍为辅的图片型网页，如图片新闻；(3)以超链接为主的目录型网页，如新浪首页。试验中我们以内容型网页作为主要研究对象。
2.2.1 网页源文件预处理
随着web2.0的发展，网站为了定制网页的表现形式和提高网页视觉效果，在源文件中加入大量Script脚本和CSS代码。所以在抽取正文之前要对网页源文件进行预处理，去除与正文内容不相关的噪音内容。
首先，由于html语言书写的随意性，导致有些网页源代码的不规范，例如标签对缺失、嵌套不准确等。所以要将缺失的html标签补齐、修改不正确的嵌套关系，并将源代码转换为DOM树的形式。本文采用HTML Tidy工具来处理网页。
其次，要判断网页源文件的编码，否则有可能抽取到乱码。以源文件头中的meta里声明的charset为准，对于编码为GBK、gb2312等格式的网页，都将其转为utf8格式。
最后，Script标签对之间和CSS内容都与正文内容无关，要全部删除。另外，对于等无用的空标签对也一并删除。
2.2.2 神经网络训练过程
(1)页面主题的提取。