摘 要:为了提高神经网络进行函数拟合的精度,首先在三层径向基神经网络基础上通过增加网络层次和改变激励函数提出了一种四层径向基小波神经网络,并采用遗传算法来确定初始网络参数;其次针对遗传算法中容易早熟的缺点,在遗传算法中引入动态平衡策略,根据适应度的变化来动态改变遗传算法中交叉和变异概率,从而增加算法全局探索和局部开发的平衡能力;最后通过对函数拟合试验并与其他方法相比较表明了算法的有效性。
关键词:径向基神经网络;小波神经网络;遗传算法;动态平衡;函数拟合
1.2 四层径向基小波神经网络数学模型
(1)网络输入第p个样本对第1层第i个神经元的输入为:
2 利用改进遗传算法优化四层径向基小波神经网络
2.1 算法流程
利用改进遗传算法优化四层径向基小波神经网络,算法流程如图2所示。
2.2 算法的改进
遗传算法是一种应用很广泛的进化算法,同时其又存在很多难以解决的实际问题,包括早熟收敛和各个算子概率的选择以及进化后期搜索效率低。这些问题导致遗传算法把握总体的能力较强,但局部搜索能力较差,最终结果往往不是全局最优解[5-6]。因此,对遗传算法的研究主要是避免早熟收敛和提高进化后期效率。总的来看改进方法有改进遗传操作、调整遗传参数和采用混合遗传方法等几种。
交叉算子和变异算子决定了遗传算法的收敛性。交叉算子提供了全局搜索能力,而变异算子则提供了局部搜索能力[7]。在种群进化初期,应在种群内大范围地搜索,进行全局进化从而避免早熟收敛;到了进化后期,种群成熟度较高,个体更加逼近最优解,种群应该在局部范围内搜索,重点进化,尽可能提高精度。由此可知,交叉概率和变异概率的选择很困难,具有很大的盲目性,要么根据遗传算法理论中各参数的大致范围来确定,或者根据开发者的经验来决定[8-9]。这样的选择方法经常会导致算法陷入局部最优,出现早熟现象。
动态平衡策略是一种平衡全局探索能力和局部进化能力的方法。在基于动态平衡策略的遗传算法中,首先以较大的交叉概率pc1和较小的变异概率pm1进行全局搜索,一旦发现一个较好的解,则改变为以较大的变异概率pm2和较小的交叉概率pc2进行局部搜索,如果在搜索过程中最优解得不到改善,则再以较大的交叉概率pc1和较小的变异概率pm1进行全局搜索。
全局搜索主要依靠交叉算子来产生新个体。随着种群的不断进化,种群越来越成熟,个体的相似性越来越高,交叉操作很难产生新的个体,这将影响算法对新的解空间进行搜索,从而导致种群丧失多样性,这时应加强个体的变异。因此,交叉概率应随着进化过程逐渐变小,最后趋于某一稳定值,防止算法不能收敛或收敛过程加长;同时变异概率应当越来越大,以避免个体出现未成熟收敛[10-11]。
根据上述策略,pc1和pm1将随着进化代数动态改变:
式中,i为进化代数,M为总进化代数,pc1max、pc1min分别为最大最小交叉概率,pm1max、pm1min分别为最大最小变异概率。
根据适应度的变化来改变交叉和变异概率,也就是进行全局搜索和局部优化的切换。假设以最大化适应度为目标,历代最好适应度为gbest,当代最好适应度为fbest,以两者的比值g=fbest/gbest来改变交叉和变异概率,如果g>k,则进行局部优化,优化代数为num代,交叉概率和变异概率分别取为pc1、pm1;如果g
为了验证改进算法的性能,本文选择函数拟合进行仿真实验,并将实验结果与其他优化方法的计算结果进行比较。为了方便描述,本文算法简写为IGWRN算法,选取参考文献[11]中提出的经遗传算法优化的BP神经网络(简称为GABP算法)与参考文献[12]中提出的三层径向基小波神经网络算法(简称为WRBF算法)作比较,假定函数为:
从图3和图4可以看出,本文提出的IGWRN算法相对于GABP和WRBF算法在拟合精度上有了较大提高。IGWRN算法运行过程中,其迭代次数与GABP相比有所增加,主要原因是IGWRN算法在发现较好解之后要进行局部搜索,由此降低了交叉概率,从而使得种群中产生较好新个体的可能性变小,特别是在进化早期,对算法的影响更大。
参考文献
[1] 褚衍贺,陈洪建,商艳兰.RBF神经网络在变速箱齿轮故障诊断中的应用[J].微型机与应用,2010,29(17):94-97.
[2] 杨超,王志伟.经GA优化的WNN在交通流预测中的应用[J].计算机工程,2011,37(14):149-151.
[3] BUHMANN M D.Radial basis functions on compact support[C].Proceedings of the Edinburgh Mathematical Society,1998:33-46.
[4] SHAHIDEHPOUR M,YAMIN H,Li Zuyi.Market operations in electric power systems[M].John Wiley&Sons,Inc.,2002:69-76.
[5] 董福贵,张世英,谭忠富,等.基于遗传算法的小波神经网络在电价预测中的应用[J].计算机工程,2005,31(4):32-33.
[6] SZU H,CAULFIELD H J.Special section on wavelet transforms[J].Opt Eng,1992,31(9):1823-1916.
[7] 张圆圆,景晓军.基于快速遗传算法的指纹匹配[J].计算机工程,2011,37(24):13-15.
[8] 斯芸芸,徐道连,周卓然.基于遗传算法和小波神经网络的语音识别研究[J].微型机与应用,2011,30(16):68-71.
[9] 任远,白广忱.径向基神经网络在近似建模中的应用研究[J].计算机应用,2009,29(1):115-118.
[10] 雷霆,余镇危.一种网络流量预测的小波神经网络模型[J].计算机应用,2006,26(3):526-528.
[11] 冯楠,王振臣.基于遗传算法和BP神经网络的电池容量预测[J].电源技术,2011,35(12):1586-1588.
[12] 李伟.基于小波变换和径向基神经网络的签名识别[J].洛阳理工学院学报(自然科学版),2011,21(1):65-68.