二、神经网络的优点及特性

    高度的并行性高度的非线性局部作用联想记忆功能和良好的容错性良好的自适应和自学习能力知识的分布存储非凸性神经元的功能特性时空整合功能神经元的动态极性化兴奋和一直兴奋状态结构的可塑性脉冲和电位信号的转换突触延期和不应期学习、遗忘和疲劳 
人类的大脑能够收到输入的信息的刺激由分布式并行处理的神经元相互连接进行非线性映射处理，从而实现复杂的信息处理和推理任务。神经结构

   在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经元激活函数、神经元之间的连接形式和网络的学习(训练)。

神经网络的学习形式：

   在构造神经网络时，其神经元的传递函数和转换函数就已经确定了

神经网络的工作过程：

   神经网络的工作过程包括离线学习和在线判断两部分。学习过程中各神经元进行规则学习，权参数调整，进行非线性映射关系拟合以达到训练精度；判断阶段则是训练好的稳定的网络读取输入信息通过计算得到输出结果。

三、人工神经网络模型分类

按性能分：连续型和离散型网络，或确定型和随机型网络。 
按拓扑结构分：前向网络和反馈网络。 
按学习方法分：有教师(监督)的学习网络和无教师(监督)的学习网络。 
按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。

前向网络

有自适应线性神经网络(AdaptiveLinear，简称Adaline)、单层感知器、多层感知器、BP等。前向网络，网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

反馈网络

有Hopfield、Hamming、BAM等。反馈网络，网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

反向传播模型也称B-P模型，

是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。 
B-P算法的学习过程如下： 
(1)、选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。 
(2)、从训练样例集中取一样例，把输入信息输入到网络中。 
(3)、分别计算经神经元处理后的各层节点的输出。 
(4)、计算网络的实际输出和期望输出的误差。 
(5)、从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。 
(6)、对训练样例集中的每一个样例重复(3)-(5)的步骤，直到对整个训练样例集的误差达到要求时为止。 
在以上的学习过程中，第(5)步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。 
B-P算法的优缺点： 
优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。 
缺点：(1)、该学习算法的收敛速度慢；(2)、网络中隐节点个数的选取尚无理论上的指导；(3)、从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。 
BP算法局限性： 
(1)、在误差曲面上有些区域平坦，此时误差对权值的变化不敏感，误差下降缓慢，调整时间长，影响收敛速度。这时误差的梯度变化很小，即使权值的调整量很大，误差仍然下降很慢。造成这种情况的原因与各节点的净输入过大有关。 
(2)、存在多个极小点。从两维权空间的误差曲面可以看出，其上存在许多凸凹不平，其低凹部分就是误差函数的极小点。可以想象多维权空间的误差曲面，会更加复杂，存在更多个局部极小点，它们的特点都是误差梯度为0。BP算法权值调整依据是误差梯度下降，当梯度为0时，BP算法无法辨别极小点性质，因此训练常陷入某个局部极小点而不能自拔，使训练难以收敛于给定误差。 
BP算法改进：误差曲面的平坦区将使误差下降缓慢，调整时间加长，迭代次数增多，影响收敛速度；而误差曲面存在的多个极小点会使网络训练陷入局部极小，从而使网络训练无法收敛于给定误差。这两个问题是BP网络标准算法的固有缺陷。 
针对此，国内外不少学者提出了许多改进算法，几种典型的改进算法：

(1)、增加动量项：标准BP算法在调整权值时，只按t时刻误差的梯度下降方向调整，而没有考虑t时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。为了提高训练速度，可以在权值调整公式中加一动量项。大多数BP算法中都增加了动量项，以至于有动量项的BP算法成为一种新的标准算法。 
(2)、可变学习速度的反向传播算法（variable learning rate back propagation，VLBP）：多层网络的误差曲面不是二次函数。曲面的形状随参数空间区域的不同而不同。可以在学习过程中通过调整学习速度来提高收敛速度。技巧是决定何时改变学习速度和怎样改变学习速度。可变学习速度的VLBP算法有许多不同的方法来改变学习速度。 
(3)、学习速率的自适应调节：可变学习速度VLBP算法，需要设置多个参数，算法的性能对这些参数的改变往往十分敏感，另外，处理起来也较麻烦。此处给出一简洁的学习速率的自适应调节算法。学习率的调整只与网络总误差有关。学习速率η也称步长，在标准BP中是一常数，但在实际计算中，很难给定出一个从始至终都很合适的最佳学习速率。从误差曲面可以看出，在平坦区内η太小会使训练次数增加，这时候希望η值大一些；而在误差变化剧烈的区域，η太大会因调整过量而跨过较窄的“凹坑”处，使训练出现振荡，反而使迭代次数增加。为了加速收敛过程，最好是能自适应调整学习率η，使其该大则大，该小则小。比如可以根据网络总误差来调整. 
(4)、引入陡度因子—-防止饱和：误差曲面上存在着平坦区。其权值调整缓慢的原因在于S转移函数具有饱和特性造成的。如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的饱和区，就可改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是在转移函数中引进一个陡度因子。 
BP神经网络设计的一般原则：关于它的开发设计，大多数是根据使用者的经验来设计网络结构﹑功能函数﹑学习算法﹑样本等。

[1]、BP网络参数设计(1)、BP网络输入与输出参数的确定

A、输入量的选择： 
a、输入量必须选择那些对输出影响大且能够检测或提取的变量； 
b、各输入量之间互不相关或相关性很小。从输入、输出量性质分类来看，可以分为两类：数值变量和语言变量。数值变量又分为连续变量或离散变量。如常见的温度，压力，电压，电流等就是连续变量；语言变量是用自然语言表示的概念。如红，绿，蓝；男，女；大，中，小，开，关，亮，暗等。一般来说，语言变量在网络处理时，需要转化为离散变量。 
c、输入量的表示与提取：多数情况下，直接送给神经网络的输入量无法直接得到，常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干参数作为网络输入。 
B、输出量选择与表示： 
a、输出量一般代表系统要实现的功能目标，如分类问题的类别归属等； 
b、输出量表示可以是数值也可是语言变量；

(2)、训练样本集的设计

网络的性能与训练用的样本密切相关，设计一个好的训练样本集既要注意样本规模，又要注意样本质量。 
A、样本数目的确定：一般来说样本数n越多，训练结果越能正确反映其内在规律，但样本的获取往往有一定困难，另一方面，当样本数n达到一定数量后，网络的精度也很难提高。 
选择原则：网络规模越大，网络映射关系越复杂，样本数越多。一般说来，训练样本数是网络连接权总数的5～10倍，但许多情况难以达到这样的要求。 
B、样本的选择和组织： 
a、样本要有代表性，注意样本类别的均衡； 
b、样本的组织要注意将不同类别的样本交叉输入； 
c、网络的训练测试，测试标准是看网络是否有好的泛化能力。测试做法：不用样本训练集中数据测试。一般是将收集到的可用样本随机地分成两部分，一部分为训练集，另一部分为测试集。若训练样本误差很小，而对测试集的样本误差很大，泛化能力差。

(3)、初始权值的设计

网络权值的初始化决定了网络的训练从误差曲面的哪一点开始，因此初始化方法对缩短网络的训练时间至关重要。 
神经元的作用函数是关于坐标点对称的，若每个节点的净输入均在零点附近，则输出均出在作用函数的中点，这个位置不仅远离作用函数的饱和区，而且是其变化最灵敏的区域，必使网络学习加快。从神经网络净输入表达式来看，为了使各节点的初始净输入在零点附近，如下两种方法被常常使用： 
A、取足够小的初始权值； 
B、使初始值为+1和-1的权值数相等。