第 20卷 第 5期 武 汉 科 技 学 院 学 报 Vol.20 No.5
2007年 5月 JOURNAL OF WUHAN UNIVERSITY OF SCIENCE AND ENGINEERING May. 2007
RBF神经网络理论及其在控制中的应用
周 勇,胡中功
(武汉工程大学 电气信息学院,湖北 武汉 430073)
摘 要:对 RBF神经网络的结构和
逼近理论进行了综述,最后提出了 RBF网络在控制中的研究及
应用。
关键词:RBF神经网络;全局逼近;遗传算法
中图分类号:TP183 文献标识码:A 文章编号:1009-5160(2007)-0040-03
人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型,具有模拟人的部分形
象思维的能力,其特点是具有非线性特性、学习能力和自适应性,是模拟人的智能的一种重要途径,它在许多
方面取得了广泛应用。从神经网络的基本模式看主要有[1]:前馈型、反馈型、自组织型及随机型网络。
目前,在控制领域内神经网络正在稳步的发展,这种发展的动力主要来自三个方面[2]:⑴处理越来越复杂
的系统的需要;⑵实现越来越高的
目标的需要;⑶在越来越不确定的情况下进行控制的需要。
在控制领域中,目前应用较多的网络是 BP网络,但 BP网络存在局部最优问题,并且训练速度慢、效率低。
RBF网络在一定程度上克服了这些问题,因此它的研究与应用越来越得到重视。本文综述了 RBF神经网络的有
关理论,并且提出了 RBF网络在控制中的研究与应用。
1 RBF神经网络的结构
RBF神经网络(Radial Basis Function Neural Network)的提出具有较强的生物学背景。在人的大脑皮层区
域中,局部调节及交叠的感受野(Receptive Field)是人脑反应的特点,基于感受野这一特性[2,3],Moody 和
Darken提出了一种神经网络结构,即 RBF网络。
RBF网络是一种前向网络,隐含层的单元是感受野单元,每个感受野单元输出为 ω= iR (X)= iR ( ii cX − ⁄ iσ ),
Hi ,,1"= ; X 是 N维输入向量,中心矢量 ic 是与 X 同维数的向量, iR (﹒)具有局部感受的特点,例如 iR (X)=
exp(- 2ii cX − ⁄ iσ ²), iR (﹒)只有在 ic 周围的一部分区域内有较强的反应,这正体现了大脑皮质层的反应特点。
RBF神经元网络不仅具有上述的生物背景,而且还具备数学理论的支持,文献[5,6]利用正则化方法证明了如下
结论:
若 S={(X i ,Y i )∈ nR × R Ni ,,1"= }是训练集合,ϕ (•, w )表示未知的函数, 其中 w也未知,正则化问题
的学习过程是寻找 ϕ及参数 w使 [ ]ϕH =∑
=
−N
i
ii wXY
1
2)),(( ϕ + 2ϕλ P 最小。用变分原理可以证明 ϕ应该选择径向基函
数(Radial Basis Function)。
2 RBF网络的函数逼近理论
前向神经网络理论研究的关键问题是函数逼近,文献[7~14]对此作了深入研究,他们认为 Sigmoid单元的
收稿日期:2006-12-01
作者简介:周勇(1980-),男,硕士研究生,研究方向:控制理论与控制工程.
第 5期 周 勇,等:RBF神经网络理论及其在控制中的应用
41
三层前向网络能够逼近连续函数或定义于 nR 空间紧集上的函数,文献[7]作了一个假设,就是 Sigmoid函数必须
连续或单调,而文献[15-16]则指出网络逼近函数的能力不是由激活函数的连续性或单调性决定,而是函数的有
界性起了关键作用。文献[17]在 Hornik工作的基础上,证明了具有局部有界分段连续激活函数的
前向网络
可以逼近任意连续函数至任意精度的充分必要条件是非多项式(有限阶次),并且指出激活函数值有很重要的作
用,它是保证上述充要条件成立的一个重要因素。
RBF神经元网络是一类前向网络,因此上述函数逼近的理论也适用于它,与其他前向网络相比,RBF网络
具有最佳逼近特性。最佳逼近(Best Approximation)定义如下:
定义 函数 f ∈函数集 Φ , ⊂Α Φ ,距离 d ( Af , )= af
Aa
−
∈
inf 表示 f 与 A之间距离,如果存在 0a A∈ 使 0af − =
),( Afd ,则 0a 是从 A中对 f 的最佳逼近,如果对任意 Φ∈f ,至少有一个函数 Aa∈ 从 A中最佳逼近 f ,则 A是
存在集,如果 a是唯一的,则 A是唯一集。
对于 BP型前向网络,它所表示的函数集合为
mσ ={ )(][ XfuCf ∈ = ,)(
1
∑
=
+m
i
iii XYw θσ RwRY iidi ∈∈ θ,, }
理论证明 mσ 对于 m ≥ 2是非存在集,因此 BP型前向网络不存在最佳逼近性质。
对于正则网络,如 RBF网络,其表示的函数集合为
mσ ={ )(][ XfuCf ∈ = ),(
1
Xc
m
i
iϕ∑
=
Rci ∈ }
其中 )(Xiϕ = ( )iXXG , ,G是 Green函数,对于 RBF网络, GG = ( iXX − )。理论证明 mT 对 m ≥ 1是存在集,
而且如果空间 C[u]是严格凸的,则 mT ( m ≥ 1)存在且具有唯一集。
3 RBF神经网络在控制中的研究与应用
3.1 RBF网络对非线性动态系统的建模
采用常规算法对非线性系统建模是一个非常棘手的问题,RBF网络在这方面很有优势,只要给出建模对象
充分完备的数据,RBF网络能够很容易将系统模型建立出来。一般 RBF网络应用于动态系统建模,需要根据
ARMA(自回归滑动平均模型)的形式将静态的 RBF网络转化为具有动态特性的网络。
用 RBF网络对非线性系统建模需要解决的关键问题是样本数据的选择。在仿真研究中我们可以通过激励系
统而得到完备的信息,从而较为准确的建立对象的模型。由于实际系统往往是时变的,因此设计有效的在线 RBF
网络建模方法是今后研究的一个方向。
3.2 RBF神经网络与遗传算法
遗传算法简称 GA(Genetic Algorithms),是 1962年由美国 Michigan教授提出的模拟自然界遗传机制和生
物进化论而行成的一种并行随机搜索最优化方法。由于 RBF神经网络的初始权值、阈值和高斯函数中心矢量不
能很好的确定,而隐含层单元的传输函数是不连续和不可微的,因此采用传统的优化方法可能陷入局部极小值。
而遗传算法的搜索不依赖梯度信息,也不需要求解函数可微,只需要求解函数自约束条件下的可行解,并且遗
传算法具有全局搜索的特性,用遗传算法优化神经网络的连接权、网络结构、初始权值、阈值和高斯函数中心
矢量不仅容易获得全局最优解,还可以提高神经网络的泛化性能,大大提高系统的精度、鲁棒性和自适应。文
献[18]提出了用遗传算法来代替最小二乘法来训练 RBF神经网络的权值、阈值和高斯函数中心矢量,得出了满
意的仿真结果。利用遗传算法与 RBF神经网络结合,在此基础上还可以和模糊系统、PID 控制等结合。文献[19]
和文献[20]分别提出了基于遗传算法的 RBF神经网络与 PID控制、模糊控制的结合。
3.3 RBF神经网络与结构优化设计
结构优化设计理论已有近四十年的发展历史,但结构优化设计应用远远落后于理论研究,其中主要的原因
是由于现有的优化方法都是以传统的数学模型作为优化模型的。由于 RBF神经网络的优越性,在文献[21]中,
作者认为可以建立结构神经智能优化设计来解决以往的结构优化设计带来的不足,具体途径如下:
⑴把结构优化的数学
模型转化为“神经网络优化”模型;
⑵建立结构反应与设计变量之间的 RBF神经网络映射模型;
武 汉 科 技 学 院 学 报 2007年
42
⑶建立结构智能优化设计的神经网络专家系统。
神经网络专家系统的目标是利用神经网络的学习功能、大规模并行分布处理功能、连续时间非线性动力学
和全局集体作用实现知识获取自动化;克服“组合爆炸”和“推理复杂性”及“无穷递归”等困难,实现并行联想和
自适应推理;提高专家系统的智能水平、实时处理能力及鲁棒性,因此它在结构优化设计中的应用必将给结构
设计理论带来历史性的突破。
4 总结
RBF网络出现的时间不长,但取得了可信的成果和进展。但总体来说,RBF网络在以下方面要加强研
究工作: ⑴ 扩宽实际应用范围,提高实时控制能力;⑵ 解决知识获取和优化瓶颈问题,特别是动态系统的知
识获取和分类;⑶ 加强对 RBF网络学习问题的研究工作。
参考文献:
[1] 孙增圻. 智能控制理论与技术[M]. 北京:清华大学出版社,1997.
[2] Antsaklis P J. Neural Networks in Control Systems[J]. Special Section on Neural Networks for Systems and Control IEEE
Control System Magazine, 1990. 3~5.
[3] Moody J, Darken C. Learning with Localized Receptive Fields In Proc 1998 Connection is Models Summer School. D Touretzky,
G Hinton, and T Scjnow ski (Eds)[M]. Carnegic Mellon University, Morgan Kaufmann Publishers. 1988.
[4] Moody J, Darken C. Fast Learning in Networks of Locally-tuned Processing Units Neural Computation[J]. 1989, (1): 281~294.
[5] Kung S Y. Digital Neural Networks PTR Prentice-Hall Inc[J]. 1993: 175~179.
[6] Piggio T, Girosi F. A Theory of Networks for Approximation and Learning A IMemo No 1140, Artificial Intelligence
Laboratory[J]. Massachusetts Institute of Technology, Cambridge Mass, 1989.
[7] Wieland A, Leighton R. Geometric Analysis of Neural Network Capacity. In Proc IEEE 1st ICN, 1987, (1): 385~392.
[8] Irie B Miyake S Capacity of Three-layered Perceptions In Proc IEEE ICN, 1988, (1): 641~ 648.
[9] Carroll S M, Dtck in song B W .Construction of Neural Nets Using Random Transform. In Proc ICNN.1989, (1):183~192.
[10] Funahashi K, On the Approximate Realization of Continuous Mappings by Neural Networks Neural Networks, 1989, (2):183~
192.
[11] M haskar H. N, Micchelli C A. Approximation by Superposition of Sigmoidal and Radial Functions Advances on Applied
Mathematics, 1992, 13 : 350~373.
[12] Cybenko G. Approximation by Superposition of Sigmoidal Function. Mathematics of Control, Signals and Systems, 1989, 2 (4):
303-314.
[13] Ito Y. Representation of Functions by Superposition of a Step of Sigmoidal Function and Their Applications to Neural Network
Theory. Neural Network, 1991, 4: 385~194.
[14] Hornik K. Approximation Capabilities of Multilayer Feed-forward and Networks, 1991, 4: 251~257.
[15] Chen T, Chen H, Liu R W. Approximation Capacity in C( nR )by Multilayer Feed-forward Networks and Related Problems
IEEE Trans on Neural Networks, 1995,6(1).
[16] Chen T, Chen H, Liu R W. A Constructive Proof of Cybenko’s Approximation Theorem and Its Extensions, Computing Science
and Statistics Lepuge and Page (Eds) In Proc 22nd Symp Interface, East Lansing, Michigan, 1990: 163~168.
[17] Moshe Leshno, et al. Multilayer Feed forward Networks with a Nonpolynomial Activation Function Can Approximate Any
Function. Neural Networks, 1993, 6: 861~867.
[18] 任占魁,王玮. 基于遗传算法寻优的 PID控制技术及应用[J]. 计算技术与自动化,2005,(6).
[19] 宋洪法,靳其兵,赵梅. 基于改进遗传算法的 PID控制参数整定策略[J]. 北京化工大学学报, 2005,(6).
[20] 董玲娇,冯冬青. 基于改进遗传算法的模糊 RBF神经网络控制器设计[J]. 计算机技术与自动化, 2005, (12)
[21] 吕大刚,王光远. 结构智能优化设计-一个新的研究方向[J]. 哈尔滨建筑大学学报, 1999,(8).