RBF神经网络

RBF神经网络 RBFANN是一种典型的有导师学习前馈网络，可以根据具体问确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，它对非线性连续函数具有一致逼近性，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBFANN的优良特性使得其显示出比BP神经网络更好的生命力，正在越来越多的领域内替代BP神经网络。对于某一RBFANN模型，如果给定了训练样本，那么该网络的学习算法应该解决以下问题:结构设计(即如何确定网络隐节点数h)，确定各RBF的数据中心ci及扩展常数6i、输出权值。一般情况下，如果确定了网络的隐节点数、数据中心和扩展常数，RBFANN从输入到输出就成了一个线性方程组，此时可以采用最小二乘法求解。 聚类方法是最经典的RBFANN模型学习算法，由Moody和Darken在1989年提出。其思路是先用无导师学习方法(K-means算法)确定RBFANN中h个隐节点的数据中心，并根据数据中心之间的距离确定隐节点的扩展常数，然后用有导师学习方法训练各隐节点的输出权值。具体步骤如下: 1、确定预测样本资料。假设预测周期为N，如果为第1个预测周期，那么以模型率定期资料作为样本;如果为第2到N个预测周期，需引入前一个周期的预测值作为样本资料，并剔除掉最早一个时段的样本资料。 2、算法初始化。选择h个不同的初始聚类中心，并令迭代次数k=1。选择初始聚类中心的方法很多，如从样本输入中随机选取，或者选择前h个样本输入，但这h个数据中心必须取不同值。 3、计算所有样本输人与聚类中心的距离，对样本输入按最小距离原则进行分类。 4、计算各类的聚类中心。 5、根据各聚类中心之间的距离确定各隐节点的扩展常数。 6、当各隐节点的数据中心和扩展常数确定后，输出权矢量就可以用有导师学习方法训练得到，但更简洁的方法是使用最小二乘法直接计算。 7、通过率定的模型参数进行预测。 8、判断模型学习停止条件，即是否到最后一个预测周期，是，则停止学习;否，则转到第一步。对下一个预测周期的模型参数进行率定。 人工神经网络是处理非线性问题的常用方法。因此，人工神经网络方法可接受的输入信息量大，误差反向传播神经网络(Error Back Propa—gation Neurfll Network，BPNN)和RBFNN是最常用的两类神经网络，两者的区别在于BPNN是以权重与输入的内积作为网络的净输入，而RBFNN是以训练样本的输入向量与隐含层节点权重向量的欧式距离作为输入(BPNN用于函数逼近时，权值的调节采用梯度下降法，这种方法存在收敛速度慢和局部极值小等缺点(RBFNN在这方面优于BPNN，它所具有的优化过程简单，训练速度快和其最佳逼近能力等优点有利于在成矿研究程度低的区域，处理大数据量地质数据，开展矿产预测(RBFNN是由输入层、隐层和输出层神经元构成的前向 型网络，其基本思想是用径向基函数作为隐层神经元的基，构成隐层空间，实现输入矢量到输出矢量的映射变换(BFNN具有全局和最佳逼近性能，是前馈神经网络中完成映射功能最优的网络(只要有足够多的隐层神经元，RBF网络能以任意精度近似任何连续函数(在神经网络训练过程中，参数选择不当会引起网络的拟合不足和过拟合(拟合不足是指由于迭代次数不足或者网络结构过于简单，无法识别输入的所有信息致使部分信息不足，此时应当增加迭代次数，或者增加网络节点数;而如果迭代次数过多，网络过于复杂，将输入信息中的噪声学习到网络中，网络训练过度发生过拟合，因此合理选择迭代次数和网络结构(即隐层神经元数量)是训练应用神经网络模型的关键。直接影响预测精度( 在RBFNN训练前，需要确定径向基函数(隐层神经元)数量与迭代次数(训练集中总均方差(sum of squared errors，SSE)最小点的位置可以用来决定最佳的径向基函数的数量。 针对本次金矿预测的训练样本集，起始隐层神经元数位10，截至隐层神经元数为170，逐渐增加神经元数，分别计算出相应的SSE(最小的SSE出现在61处(SSE=0(0004)，随着神经元数量的增加，SSE迅速增加(见图2)(结果表明当隐层神经元数与训练层特征矢量数相等时，SSE最小( 最佳迭代次数也可以通过判断SSE的变化来获得(本次训练起始迭代数为50，截至迭代数为400(从图3(a)可以看出，SSE在151的位置出现陡降，随后趋向平稳，但通过参看局部放大图3(b)(150,"--400 %)，在161位置再次出现陡降，此后趋向平稳(较少的迭代数量会增加SSE，误差增大，训练不足;但迭代次数过多，不仅增加计算负担，而且会导致过拟合，因此一般选择SSE稳定位置处的迭代次数作为最佳迭代数(通过上述方法获得最佳隐层神经元数和迭代次数能使训练集的误差较小，可用于对位置特征矢量的训练，并计算预测值(