摘 要:BP网络作为人工神经网络的重要分支,已经广泛应用于手写数字识别。然而BP神经网络存在训练时间长、易陷入局部最小的问题。为了克服这些问题,提出了一种改进的遗传算法,并用该算法来优化神经网络的权值和阈值。最后,利用基于该算法的神经网络对大量USPS手写数字样本集进行训练。实验结果表明,该算法比单纯的BP算法具有更快的识别速率。
关键词:遗传算法;BP神经网络;数字识别
数字识别前景广阔,广泛应用于邮政编码的识别、汽车牌照的识别以及个人成绩单的识别。相对于印刷体数字识别,无约束手写体的识别是模式识别领域的难点,也是目前的一个研究热点。近几年来众多学者对手写体进行了较多的研究,提出了多种算法,不过当前运用较好的主流算法还是以统计、神经网络、聚类分析的识别算法为主。
神经网络具有很强的学习性和自适应性,对于解决目标识别和模式分类具有较大的潜力。其中BP模型被广泛地应用于模式分类、模式识别等方面,但BP算法收敛速度慢,且很容易陷入局部极小点。遗传算法具有并行搜索、效率高、不存在局部收敛问题等优点而被广泛应用。然而传统的遗传算法带有一定程度的随机性和盲从性,且有过早收敛的现象。为了克服遗传算法的这些缺点,本文采用正交遗传算法,克服了初始种群的盲目性,并对选择过程做了改进,不再单纯地淘汰劣势个体,以保证种群的多样性。最后,本文将改进的遗传算法应用到BP网络中,提出遗传BP神经网络,通过遗传算法的全局优化能力提高BP神经网络对手写数字样本训练的速度。
1 BP神经网络
BP网络是一种典型的前向神经网络,主要由输入层、隐含层、输出层组成,它的基本结构如图1所示。隐含层可以是单层或多层。每一层由一个或者多个节点组成,同一层的节点之间没有连接,而层与层之间的节点是全连接的,即每一层的节点与前面一层的所有节点都有连接。
BP网络的核心是BP算法,BP算法由两部分组成:信息的正向传递和误差的反向传播。在正向传播中,输入信息从输入层经隐含层逐层计算传向输出层,每一层的输出作用于下一层神经元(即为图中的节点)的输入。如果在输出层没有得到期望的输出,则计算输出层的误差变化值,然后转向反向传播,通过网络将误差信号沿原来的连接通路反传回来,修改各层神经元的权值直至达到期望目标。
虽然BP网络得到了广泛的应用,但它也存在一些自身的不足和限制,例如训练时间较长、容易陷入局部最小值等[1]。
2 改进的遗传算法
遗传算法的操作内容主要有种群初始化操作、选择操作、交叉操作、变异操作。
2.1 种群的初始化
对于没有先验知识的优化问题,传统遗传算法的初始种群一般采取完全随机的方法产生,这样选出的初始群体带有一定的盲目性,也很难选出具有代表性的群体。本文采用正交化设计方法来初始化种群,利用正交设计所选的样本组合能够很好地代表所有可能的组合并且正交设计在数值优化方面已经被证明具有很好的搜索能力[2],这样获得的初始种群更具有鲁棒性和统计合理性。
表1所示为两种算法的性能比较,从中可以明显地看出改进的遗传-BP算法比单纯的BP算法具有更快的训练速度。而手写数字的识别精度很大程度上取决于训练样本的数量,因此,提高大量样本的训练速度对手写数字识别具有重要的意义。
本文针对BP网络训练大量数据时,训练时间长、易陷入局部最优等问题,提出将BP网络与遗传算法相结合,并用改进的遗传算法来克服传统遗传算法收敛速度慢的缺点,通过计算正交设计矩阵来提高初始种群的质量,有效地增强了算法的稳定性和全局搜索能力,也说明了此算法具有广泛的应用价值。
参考文献
[1] 丛爽.神经网络、模糊系统及其在运动控制中的应用[M].合肥:中国科学技术大学出版社,2001.
[2] LEUNG Y W,WANG Y P.An orthogonal genetic algorithm with quantization for global numerical optimization[J].IEEE Trans.on Evolutionary Computation,2001,5(1):41-53.
[3] 王宇平.进化计算的理论和方法[M].北京:科学出版社,2011.
[4] 王小平,曹立明.遗传算法——理论、应用与软件实现[M].西安:西安交通大学出版社,2004.