前馈神经网络参数和结构的优化策略研究

　　【 关键词 】 人工神经网络　优化　BP算法　递阶遗传算法　模拟退火算法　混合优化策略　 
【 摘　要 】 利用神经网络求解各种应用问题就是利用网络中神经元的协同并行计算能力将实际问题的优化解与神经网络的稳定状态相对应,把对实际问题的优化过程映射为神经网络系统的演化过程.但是随着应用问题的规模和复杂度越来越大,单1的优化算法效果往往不够理想,而且其性能改进程度有限.基于这种现状,算法混合的思想已经发展成为提高算法优化性能的1个重要且有效的途径,其出发点就是使各种单1算法相互取长补短,以产生更好的优化效率.通过这种方式可以大大提高神经网络解决实际问题的能力和效率.本文系统地研究了前馈神经网络学习的误差反向传播算法、模拟退火算法和遗传算法,分析了它们各自的特点,并对这些算法的优化性能进行了分析和比较.给出了1种新型自适应递阶遗传算法(HGA)的实现形式,从而为解决长期以来无法同时对神经网络拓扑结构进行优化的问题提供了1个新思路.HGA模拟了自然界的生物结构和进化机制,具有很强的结构表示能力和全局寻优能力.由于其采用了2进制编码和浮点数编码相结合的混合编码方法,可以在对网络权重(包括节点阈值)优化求解的同时对神经网络的拓扑结构进行优化,具有较高的学习效率.而在遗传过程中采用自适应的交叉和变异概率能有效加快遗传速度和避免早熟现象的出现.数值仿真研究结果表明,HGA确实具有良好的优化性能.此外,本文还对BP+SA和HGA+BP两种混合优化策略进行了系统研究.在BP+SA混合优化策略中,根据BP算法的梯度寻优和SA算法概率突跳的特点,采用以BP算法为主框架并在学习过程中引入SA策略,这样既利用了基于梯度下降的有指导学习来提高局部搜索性能,也利用了SA的概率突跳性来实现最终的全局收敛.在HGA+BP混合优化策略中,通过在HGA算法中融入BP操作可以在对网络结构进行优化的同时,充分利用GA的全局寻优能力在大范围内搜索可能的极值区域,并利用BP算法沿误差最速下降方向在极值点附近快速搜索,从而达到全局最优和快速搜索的有机结合.HGA+BP混合优化策略在网络的逼近精度、泛化能力和网络模型复杂度方面得到了满意的折衷.通过对混沌时序信号的预测,表明了混合优化策略在较大程度上改进了前馈神经网络的学习性能和泛化能力.  （科教论文网 lw.NsEac.com编辑整理）
【文摘语种】 中文文摘 
【页数】 1-69