BP神经网络模型

BP神经网络模型 BP神经网络 在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问的有效算法。直到误差反向传播算法(BP算法)的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。 BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元;中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构;最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。 BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。 (1)节点输出模型 隐节点输出模型:Oj=f(?Wij×Xi-qj) (1) 输出节点输出模型:Yk=f(?Tjk×Oj-qk) (2) f-非线形作用函数;q -神经单元阈值。 图1 典型BP网络结构模型 (2)作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为在(0,1)内连续取值的Sigmoid函数: f(x)=1/(1+e) (3) (3)误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数: Ep=1/2×?(tpi-Opi) (4) tpi- i节点的期望输出值;Opi-i节点计算输出值。 (4)自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为 ?Wij(n+1)= h ×Фi×Oj+a×?Wij(n) (5) h -学习因子;Фi-输出节点i的计算误差;Oj-输出节点j的计算输出;a-动量因子。 BP神经网络的应用及不足 神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。 虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。 首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。 其次，BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。 再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。 最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。