神经网络实用教程讲义

null《神经网络实用教程》 学习与课程内容《神经网络实用教程》 学习资料与课程内容教材**教材书名：《神经网络实用教程》 出版社：机械工业出版社 出版日期：2008年2月 作者：张良均 曹晶 蒋世忠null**、实验及学习支持网站**课件、实验及学习支持网站1、智能中国网： www.5iai.com 2、神经网络在线： http://www.2nsoft.cn/课程目的和基本要求**课程目的和基本要求熟悉人工神经网络的基本理论，应用人工神经网络解决实际应用中的问题。 介绍人工神经网络及其基本网络模型 了解人工神经网络的有关研究思想，从中学习先行者们的问题求解方法。 通过仿真实验进一步体会有关模型的用法和性能，能将其应用到读者各自的领域。 掌握混合编程方法，能应用此方法编写实际问题的解决方案。第1章人工神经网络第1章人工神经网络 第1章人工神经网络**第1章人工神经网络1.1神经网络的基本概念 1.2神经网络的特点及应用 1.1.1生物神经元的结构与功能特点 ** 1.1.1生物神经元的结构与功能特点 生物神经元在结构上由四部分组成: 细胞体(Cell body) 树突(Dendrite) 轴突(Axon) 突触(Synapse) 用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有100亿个神经元，60亿个神经突触以及它们的连接体 null**1.1.1生物神经元的结构与功能特点**1.1.1生物神经元的结构与功能特点人脑与计算机信息处理比较： 记忆与联想能力 学习与认知能力 信息加工能力 信息综合能力 信息处理速度 1.1.2人工神经元模型**1.1.2人工神经元模型人工神经元是人工神经网络操作的基本信息处理单位,是神经网络设计的基础。 人工神经元模型可以看成是由三种基本元素组成： (1)一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制。 (2)一个加法器 用于求输入信号对神经元的相应突触加权之和。 (3)一个激活函数 用来限制神经元输出振幅。激活函数也称为压制函数，因为它将输入信号压制(限制)到允许范围之内的一定值。 另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。 1.1.2人工神经元模型**1.1.2人工神经元模型1.1.2人工神经元模型**1.1.2人工神经元模型一个神经元可以用以下公式表示：1.1.2人工神经元模型**1.1.2人工神经元模型激活函数主要的三种形式： 阶梯函数 分段线性函数1.1.2人工神经元模型**1.1.2人工神经元模型非线性函数 单极S型函数 双极S型函数1.1.3神经网络的结构及工作方式**1.1.3神经网络的结构及工作方式人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式 根据神经元的不同连接方式，可将神经网络分为两大类： 分层网络 相互连接型网络 1.1.3神经网络的结构及工作方式**1.1.3神经网络的结构及工作方式分层网络 单纯的前向网络 具有反馈的前向网络 层内互联的前向网络 相互连接型网络 1.1.3神经网络的结构及工作方式**1.1.3神经网络的结构及工作方式1.1.4 神经网络的学习**1.1.4 神经网络的学习学习方式 有导师学习（有监督学习） 无导师学习（无监督学习） 再励学习1.1.4 神经网络的学习**1.1.4 神经网络的学习学习算法：学习算法是指针对学习问题的明确规则，不同的学习算法对神经元的权值调整的表达式是不同的。 算法分类 Hebb学习算法 学习算法 随机学习算法 竞争学习算法1.1.4 神经网络的学习**1.1.4 神经网络的学习Hebb学习算法 由Donald O. Hebb提出。 如果两个神经元同时兴奋， 则它们之间的突触连接加强。 如果神经元 是神经元 的 上层结点，用 分别表示 两神经元的激活值(输出)， 表示两个神经元之间的连接权， 则Hebb学习规则可以表示为: 式中 表示学习速率 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 1.1.4 神经网络的学习**1.1.4 神经网络的学习 学习算法 误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习 权值调整公式： 调整目标是使下述公式所表达的误差为最小 1.1.4 神经网络的学习**1.1.4 神经网络的学习随机学习算法 误差学习算法通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理这种情况。 经典随机学习算法 模拟退化算法 遗传算法。 1.1.4 神经网络的学习**1.1.4 神经网络的学习竞争学习算法 竞争学习属于无导师算法 神经元通过互相竞争来做出不同的响应 竞争获胜的神经元按规则修正权值 经典竞争学习神经网络 自组织特征映射网络(Self-Organization Map，SOM) 自适应共振网络(Adaptive Resonace Theory，ART) 1.2 神经网络的特点及其应用**1.2 神经网络的特点及其应用神经网络的特点 并行分布式处理 非线性处理 具有自学习功能 神经网络可采用硬件实现 1.2 神经网络的特点及其应用**1.2 神经网络的特点及其应用神经网络的应用领域 语音识别 语音识别娃娃 图像识别与理解 人脸检测1.2 神经网络的特点及其应用**1.2 神经网络的特点及其应用神经网络的应用领域 机器人 智能故障检测 医学应用 医学图像处理null**神经网络的应用领域 国防军事应用 航天器姿态控制 导弹的智能引导 **小结生物神经网络构成 人工神经网络模型 人工神经网络结构及工作方式 人工神经网络学习方法 人工神经网络特点 人工神经网络应用2.1MATLAB快速入门2.1MATLAB快速入门2.1MATLAB快速入门**2.1MATLAB快速入门2.1.1 MATLAB界面组成 2.1.2 MATLAB基本运算 2.1.3 MATLAB绘图函数2.1.1 MATLAB界面组成**2.1.1 MATLAB界面组成工作空间浏览器窗命令行窗口命令历史窗口当前目录窗口2.1.1 MATLAB界面组成**2.1.1 MATLAB界面组成MATLAB界面组成 命令行窗口 命令历史窗口 工作空间浏览器窗口 当前目录窗口 编辑调试窗口2.1.1 MATLAB界面组成**2.1.1 MATLAB界面组成在MATLAB主窗口中，点击“Start”“Desktop Tools”“Editor”即可打开编辑调试窗口。2.1.2 MATLAB基本运算 **2.1.2 MATLAB基本运算 基本运算 >> (5*2+1.3-0.8)*10/25 ans =4.2000 >>x = (5*2+1.3-0.8)*10^2/25 x = 42 变量命名规则 第一个字母必须是英文字母； 字母间不可留空格； 最多只能有19个字母，MATLAB会忽略多余字母。 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算基本运算 若不想让MATLAB每次都显示运算结果，只需在运算式最后加上 “;”即可 MATLAB可同时执行数个命令，只要以逗号或分号将命令隔开： >>x = sin(pi/3); y = x^2; z = y*10, z = 7.5000 若一个数学运算式太长，可用三个句点将其延伸到下一行： >>z = 10*sin(pi/3)* ... >>sin(pi/3); 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算 MATLAB的查询命令 键入help inv即可得知有关inv命令的用法 向量与矩阵的表示及运算 向量的表示方法与运算 >>x = [1 3 5 2]; %表示一个行向量 >>y = 2*x+1 y = 3 7 11 5 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算向量与矩阵的表示及运算 更改、增加或删除向量中的元素 >>y(3) = 2 % 更改第三个元素 y = % 更改第三个元素后的结果 3 7 2 5 >>y(6) = 10 % 加入第六个元素 y = %加入第六个元素后的结果 3 7 2 5 0 10 >>y(4) = [] % 删除第四个元素 y = %删除第四个元素后的结果 3 7 2 0 10 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算向量与矩阵的表示及运算 向量的一个元素或一部分向量的运算 >>x(2)*3+y(4) % 取出x的第二个元素和y的第四个元素来做运算 ans = 9 >>y(2:4)-1 %用y的第二至第四个元素分别做减1运算，2:4代表向量中 的第2、3、4号元素 ans = 6 1 -1 转置 >>z = x' z = 1 3 5 2 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算矩阵的表示方法和各种处理方式 表示 在命令窗口中输入 A = [1 2 3 4; 5 6 7 8; 9 10 11 12] 结果为： A = 1 2 3 4 5 6 7 8 9 10 11 12 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算矩阵的表示方法和各种处理方式 运算 >>A(2,3) = 5 % 将矩阵第二行，第三列的元素值置为5 A = %置值后的矩阵 1 2 3 4 5 6 5 8 9 10 11 12 >>B = A(2,1:3) %取出矩阵A中第二行第一个到第三个元素，构成 矩阵B B = 5 6 5 >>A = [A B'] %将B转置后，再以列向量并入A A = 1 2 3 4 5 5 6 5 8 6 9 10 11 12 5 2.1.2 MATLAB基本运算**2.1.2 MATLAB基本运算矩阵的表示方法和各种处理方式 运算 >>A(:, 2) = [ ] %删除第二列，符号＂：＂代表所有列 A = 1 3 4 5 5 5 8 6 9 11 12 5 >>A = [A; 4 3 2 1] %加入第四行 A = 1 3 4 5 5 5 8 6 9 11 12 5 4 3 2 1 >>A([1 4], :) = [ ] % 删除第一和第四行，符号＂:＂代表所有行 A = 5 5 8 6 9 11 12 5 2.1.3 MATLAB绘图函数**2.1.3 MATLAB绘图函数二维绘图函数plot plot(x) 当x为向量时，则以x元素为纵坐标，以相应元素的下标作为横坐标来绘图。当x为实数矩阵时，则按列绘制每列元素值相对其下标的连线图，图中曲线x阵的列数。 plot(x,y) 如果x、y为同维向量，则绘制以x、y为横纵坐标的连线图。如果x是向量，y是一个与x同维的矩阵，则绘制多条不同色彩的连线图，连线条数等于y阵的另一维数。如果x和y是同维矩阵，则以x、y对应元素为横纵坐标分别绘制曲线，曲线的条数等于矩阵的行数。 plot(x,y,s) s表示线条的颜色和类型，如s=’r+’，表示各点是由红色的+号绘制的，如果没有特别说明，默认的类型为蓝色的线条。 2.1.3 MATLAB绘图函数**2.1.3 MATLAB绘图函数二维绘图函数plot hold on 设置在同一张图上绘制多条曲线 hold off 取消在同一张图上绘制多条曲线设置 Figure 下次的图和已经绘制的图将不在同一张图上 2.1.3 MATLAB绘图函数**2.1.3 MATLAB绘图函数绘图函数使用示例 >>%横坐标变化范围为[-6 6]，每间隔0.1个单位绘制一次 x=-6:0.1:6; y1=cos(x); y2=cos(2*x); y3=cos(3*x); %以x、y为横纵坐标绘图 plot(x,y1); %保存绘图句柄，使下一次的图和已经绘制的图在同一张图上 hold on plot(x,y2,'r+'); %关闭绘图句柄下次的图和已经绘制的图将不在现一张图上 hold off %打开一张新的绘图面 figure %以x、y为横纵坐标，以蓝色的＂*＂绘图plot(x,y3,'b*'); 2.1.3 MATLAB绘图函数**2.1.3 MATLAB绘图函数2.1.3 MATLAB绘图函数**2.1.3 MATLAB绘图函数小结**小结MATLAB快速入门 MATLAB界面组成 MATLAB基本运算 MATLAB绘图函数2.2感知器神经网络模型与学习算法2.2感知器神经网络模型与学习算法2.2.1单层感知器*2.2.1单层感知器概述 由美国学者Rosenblatt在1957年首次提出 学习算法是Rosenblatt在1958年提出的 包含一个突触权值可调的神经元 属于前向神经网络类型 只能区分线性可分的模式 IEEE设立以其名字命名的奖项 2.2.1单层感知器*2.2.1单层感知器单层感知器模型2.2.1单层感知器*2.2.1单层感知器单层感知器工作原理 单层感知器可将外部输入分为两类和。当感知器的输出为+1时，输入属于 类，当感知器的输出为-1时，输入属于 类，从而实现两类目标的识别。在维空间，单层感知器进行模式识别的判决超平面由下式决定： 2.2.1单层感知器*2.2.1单层感知器单层感知器工作原理 对于只有两个输入的判别边界是直线（如下式所示）,选择合适的学习算法可训练出满意的 和 ，当它用于两类模式的分类时，相当于在高维空间中，用一个超平面将两类样本分开。 2.2.2单层感知器的学习算法*2.2.2单层感知器的学习算法单层感知器学习算法思想 基于迭代的思想，通常是采用误差校正学习规则的学习算法。 可以将偏差作为神经元突触权值向量的第一个分量加到权值向量中 输入向量和权值向量可分别写成如下的形式： 令上式等于零，可得到在维空间的单层感知器的判别超平面。 2.2.2单层感知器的学习算法*2.2.2单层感知器的学习算法单层感知器学习算法 第一步,设置变量和参量。 为激活函数, 为网络实际输出， 为期望输出， 为学习速率， 为迭代次数， 为实际输出与期望输出的误差。 第二步,初始化 给权值向量 的各个分量赋一个较小的随机非零值，置 第三步,输入一组样本 ，并给出 它的期望输出 。 第四步,计算实际输出: 第五步,求出期望输出和实际输出求出差 根据误差判断目前输出是否满足条件，一般为对所有样本误差为零或者均小于预设的值，则算法结束，否则将值增加1，并用下式调整权值： 然后转到第三步，进入下一轮计算过程 2.2.3 单层感知器的MATLAB实现 *2.2.3 单层感知器的MATLAB实现 MATLAB中单层感知器常用工具函数名称和基本功能 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现newp() 功能：创建一个感知器神经网络的函数 格式：net = newp(PR，S，TF，LF) 说明：net为生成的感知机神经网络；PR为一个R2的矩阵，由R组输入向量中的最大值和最小值组成；S表示神经元的个数；TF表示感知器的激活函数，缺省值为硬限幅激活函数hardlim；LF表示网络的学习函数，缺省值为learnp hardlim() 功能 硬限幅激活函数 格式 A = hardlim(N) 说明 函数hardlim(N)在给定网络的输入矢量矩阵N时，返回该层的输出矢量矩阵A。当N中的元素大于等于零时，返回的值为l；否则为0。也就是说，如果网络的输入达到阈值，则硬限幅传输函数的输出为1；否则，为0。 learnp() 功能 感知机的权值和阈值学习函数 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现train() 功能 神经网络训练函数 格式 [net，tr，Y，E，Pf，Af] = train(NET，P，T，Pi，Ai，VV，TV) 说明 net为训练后的网络；tr为训练记录；Y为网络输出矢量；E为误差矢量；Pf为训练终止时的输入延迟状态；Af为训练终止时的层延迟状态；NET为训练前的网络；P为网络的输入向量矩阵；T表示网络的目标矩阵，缺省值为0；Pi表示初始输入延时，缺省值为0；Ai表示初始的层延时，缺省值为0； VV为验证矢量（可省略）；TV为测试矢量（可省略）。网络训练函数是一种通用的学习函数，训练函数重复地把一组输入向量应用到一个网络上，每次都更新网络，直到达到了某种准则，停止准则可能是达到最大的学习步数、最小的误差梯度或误差目标等。2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现sim() 功能 对网络进行仿真 格式 (1) [Y，Pf，Af，E，perf] = sim(NET，P，Pi，Ai，T) (2) [Y，Pf，Af，E，perf] = sim(NET，{Q TS}，Pi，Ai，T) (3) [Y，Pf，Af，E，perf] = sim(NET，Q，Pi，Ai，T) 说明 Y为网络的输出；Pf表示最终的输入延时状态；Af表示最终的层延时状态；E为实际输出与目标矢量之间的误差；perf为网络的性能值；NET为要测试的网络对象；P为网络的输入向量矩阵；Pi为初始的输入延时状态（可省略）；Ai为初始的层延时状态（可省略）；T为目标矢量（可省略）。式(1)、(2)用于没有输入的网络，其中Q为批处理数据的个数，TS为网络仿真的时间步数。 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现 mae() 功能 平均绝对误差性能函数 格式 perf=mae(E，w，pp) 说明 perf表示平均绝对误差和， E为误差矩阵或向量(网络的目标向量与输出向量之差)， w为所有权值和偏值向量(可忽略)， pp为性能参数(可忽略)。 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现 plotpv() 功能 绘制样本点的函数 格式 (1) plotpv(P，T) (2) plotpv(P，T，V) 说明 P定义了n个2或3维的样本，是一个2n维或3n维的矩阵；T表示各样本点的类别，是一个n维的向量；V=[x_min x_max y_min y_max]，为一设置绘图坐标值范围的向量。利用plotpv()函数可在坐标图中绘出给定的样本点及其类别，不同的类别使用不同的符号。如果T只含一元矢量，则目标为0的输入矢量在坐标图中用符号＂o＂表示： 目标为1的输入矢量在坐标图中用符号＂+＂表示。如果T含二元矢量，则输入矢量在坐标图中所采用的符号分别如下：[0 0]用＂o＂表示；[0 1]用＂+＂表示：[1 0]用＂*＂表示；[1 1]用＂＂表示。 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现plotpc() 功能 在存在的图上绘制出感知器的分类线函数 格式 (1) plotpc(W，B) (2) plotpc(W，B，H) 说明 硬特性神经元可将输入空间用一条直线(如果神经元有两个输入)，或用一个平面(如果神经元有三个输入)，或用一个超平面(如果神经元有三个以上输入)分成两个区域。plotpc(w，b)对含权矩阵w和偏差矢量b的硬特性神经元的两个或三个输入画一个分类线。这一函数返回分类线的句柄以便以后调用。plotpc(W，B，H)包含从前的一次调用中返回的句柄。它在画新分类线之前，删除旧线。2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现使用MATLAB实现神经网络的步骤如下： 第一步 根据应用创建一个神经网络； 第二步 设定神经网络的训练参数，利用给定样本对创建的神经网络进行训练； 第三步 输入测试数据，测试训练好的神经网络的性能。 例2-1：见《神经网络实用教程》第22页 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现P= [-0.4 -0.5 0.6; 0.9 0 0.1]; %给定训练样本数据 T= [1 1 0]; %给定样本数据所对应的类别，用1和0来表示两种类别 %创建一个有两个输入、样本数据的取值范围都在[-1，1]之间，并且 %网络只有一个神经元的感知器神经网络 net=newp([-1 1;-1 1],1); net.trainParam.epochs = 20; %设置网络的最大训练次数为20次 net=train(net,P,T); %使用训练函数对创建的网络进行训练 Y=sim(net,P) %对训练后的网络进行仿真 E1=mae(Y-T) %计算网络的平均绝对误差，表示网络错误分类 Q=[0.6 0.9 -0.1; -0.1 -0.5 0.5]; %检测训练好的神经网络的性能 Y1=sim(net,Q) %对网络进行仿真，仿真输出即为分类的结果 figure; %创建一个新的绘图窗口 plotpv(Q,Y1); %在坐标图中绘制测试数据 plotpc(net.iw{1},net.b{1}) %在坐标图中绘制分类线 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现例2-1运行后在命令行窗口中得到的结果如下： >> TRAINC, Epoch 0/20 %使用TRAINC作为神经网络的训练函数，第0次训练，最 %大训练次数为20 TRAINC, Epoch 3/20 %达到目标误差要求，结束训练 TRAINC, Performance goal met. Y = 1 1 0 E1 = 0 Y1 = 0 0 1 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现例2-1训练误差曲线 2.2.3 单层感知器的MATLAB实现*2.2.3 单层感知器的MATLAB实现例2-1训练后的分类线 2.2.4 多层感知机 *2.2.4 多层感知机 单层感知器的缺点是只能解决线性可分的分类模式问题 采用多层网络结构可以增强网络的分类能力，即在输入层与输出层之间增加一个隐含层，从而构成多层感知器(Multilayer Perceprons ，MLP)。 由输入层、隐含层(可以是一层或者多层)和输出层构成的神经网络称为多层前向神经网络。 2.2.4 多层感知机 *2.2.4 多层感知机 多层感知器的拓扑结构 2.2.4 多层感知机*2.2.4 多层感知机多层感知器的特点 含有一层或多层隐单元,从输入模式中获得了更多有用的信息，使网络可以完成更复杂的任务。 每个神经元的激活函数采用可微的函数 sigmoid函数 多个突触使得网络更具连通性 具有独特的学习算法 BP算法 小结*小结单层感知器模型及工作原理 单层感知器的学习算法 单层感知器的MATLAB实现 单层感知器的应用示例 多层感知器概述 2.3 线性神经网络 2.3 线性神经网络 2.3.1 线性神经元网络模型2.3.1 线性神经元网络模型线性神经元模型 它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。2.3.1 线性神经元网络模型2.3.1 线性神经元网络模型线性神经元激活函数2.3.1 线性神经元网络模型2.3.1 线性神经元网络模型线性神经元网络分类图示 双输入 输出如下式所示2.3.1 线性神经元网络模型2.3.1 线性神经元网络模型线性神经网络的结构 2.3.2 线性神经网络的学习算法2.3.2 线性神经网络的学习算法Widrow-Hoff学习规则 又称为最小均方误差LMS （Least Mean Square Error） 学习算法， 由Widrow-Hoff提出， 属于有导师学习算法 LMS学习规则定义如下: 目标 是通过调节权值，使mse从误差空间的某点开始，沿着mse的斜面向下滑行,最终使mse达到最小值。 Bernard Widrow2.3.2 线性神经网络的学习算法2.3.2 线性神经网络的学习算法算法实现步骤 第一步:初始化 给各个连接赋一个较小的随机值 第二步：输入一个样本，计算连接权值的调整量 2.3.2 线性神经网络的学习算法2.3.2 线性神经网络的学习算法其中 表示第 次循环中的第个输入向量。则有： 第三步：调整连接权值 根据负梯度下降的原则，网络权值和阈值修正公式如下 式中 为学习率,当其取较大值时，可以加快网络的训练速度，但是如果其值太大，会导致网络稳定性的降低和训练误差的增加。所以，为了保证网络进行稳定的训练，学习率的值必须选择一个合适的值。 2.3.2 线性神经网络的学习算法2.3.2 线性神经网络的学习算法第四步：计算均方误差 第五步：判断误差是否为零或者是否达到预先设定的要求。如果是，则结束算法，否则输入下一个样本，返回第二步进入下一轮求解过程 2.3.3 线性神经网络的MATLAB实现 2.3.3 线性神经网络的MATLAB实现 MATLAB中线性神经网络相关的常用函数和基本功能 2.3.3 线性神经网络的MATLAB实现2.3.3 线性神经网络的MATLAB实现MATLAB中线性神经网络相关的常用函数和基本功能 newlin() 功能 新建一个线性神经网络函数。 格式 (1) net = newlin (2) net = newlin(PR，S，ID，LR) 说明 式(1)返回一个没有定义结构的空对象，并显示图形用户界面函数nntool的帮助文字；式(2)中net为生成的线性神经网络；PR为网络输入向量中的最大值和最小值组成的矩阵[Pmin，Pmax]；S为输出向量的个数；ID为输入延时向量（可省略）；LR为学习速率（可省略），默认值为0.01。 learnwh( ) 功能 线性神经网络学习函数 格式 (1) [dW,LS] = learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS) (2) [db,LS] = learnwh(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS) 2.3.3 线性神经网络的MATLAB实现2.3.3 线性神经网络的MATLAB实现MATLAB中线性神经网络相关的常用函数和基本功能 Purelin() 功能 纯线性传输函数 格式 A = purelin(N) 说明 函数purelin(N)为返回网络输入向量N的输出矩阵a；神经元最简单的传输函数是简单地从神经元输入到输出的线性传输函数，输出仅仅被神经元所附加的偏差所修正，newlin和newlind函数建立的网络都可以用该函数做为传递函数。 mse() 功能 均方误差性能函数 格式 perf=mae(E，w，pp) 说明 perf表示均方误差,E为误差矩阵或向量(网络的目标向量与输出向量之差),w为所有权值和偏值向量(可忽略)， pp为性能参数(可忽略)。 2.3.3 线性神经网络的MATLAB实现2.3.3 线性神经网络的MATLAB实现例2-2 要求设计一个线性神经网络，寻找给定数据之间的线性关系。 P=[1.1 -1.3]; T=[0.6 1]; %创建一个只有一个输出，输入延时为0，学习速率为0.01的线性神经网络，minmax(P)表示样 %本数据的取值范围 net=newlin(minmax(P),1,0,0.01); %对创建的线性神经网络进行初始化，设置权值和阈值的初始值 net=init(net); net.trainParam.epochs=500; %设置网络训练后的目标误差为0.0001 net.trainParam.goal=0.0001; net=train(net,P,T); y=sim(net,P) %求解网络的均方误差值 E=mse(y-T) 2.3.3 线性神经网络的MATLAB实现2.3.3 线性神经网络的MATLAB实现例2-2的输出结果 %使用TRAINB作为训练函数，最大训练次数为500，开始训练时的均方误差值为0.68， %目标误差为0.0001 >> TRAINB, Epoch 0/500, MSE 0.68/0.0001. ...... TRAINB, Epoch 200/500, MSE 0.000193748/0.0001. TRAINB, Epoch 217/500, MSE 9.87777e-005/0.0001. %训练到217次时，达到目标误差要求，结束训练 TRAINB, Performance goal met. y = 0.5883 0.9922 E = 9.8778e-005 2.3.3 线性神经网络的MATLAB实现2.3.3 线性神经网络的MATLAB实现例2-2的训练误差曲线 2.3.3 线性神经网络的MATLAB实现2.3.3 线性神经网络的MATLAB实现原数据关系与线性神经网络逼近关系对比 注：两者仍存在误差，可以通过修改训练步数或精度来减少两者的误差 小结小结线性神经网络模型 线性神经网络激活函数 神经网络学习算法 线性神经网络的MATLAB实现 线性神经网络的局限性 2.4 BP神经网络模型与学习算法2.4 BP神经网络模型与学习算法概述概述Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 2.4.1 BP神经网络模型2.4.1 BP神经网络模型三层BP网络2.4.1 BP神经网络模型2.4.1 BP神经网络模型激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 2.4.1 BP神经网络模型2.4.1 BP神经网络模型输出的导数 根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内 2.4.2 BP网络的学习算法2.4.2 BP网络的标准学习算法学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 2.4.2 BP网络的标准学习算法-算法思想2.4.2 BP网络的标准学习算法-算法思想学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值2.4.2 BP网络的标准学习算法-学习过程2.4.2 BP网络的标准学习算法-学习过程正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止2.4.2 BP网络的标准学习算法 2.4.2 BP网络的标准学习算法 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第三步，计算隐含层各神经元的输入和输出 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法BP算法直观解释 情况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。2.4.2 BP网络的标准学习算法2.4.2 BP网络的标准学习算法BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。 2.4.3 BP神经网络学习算法的MATLAB实现 2.4.3 BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能 2.4.3 BP神经网络学习算法的MATLAB实现2.4.3 BP神经网络学习算法的MATLAB实现MATLAB中BP神经网络的重要函数和基本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，[S1 S2...SN1]，{TF1 TF2...TFN1}，BTF，BLF，PF) 说明 net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；[S1 S2…SNl]表示网络隐含层和输出层神经元的个数；{TFl TF2…TFN1}表示网络隐含层和输出层的传输函数，默认为‘tansig’；BTF表示网络的训练函数，默认为‘trainlm’；BLF表示网络的权值学习函数，默认为‘learngdm’；PF表示性能数，默认为‘mse’。 2.4.3 BP神经网络学习算法的MATLAB实现2.4.3 BP神经网络学习算法的MATLAB实现MATLAB中BP神经网络的重要函数和基本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(0，1)。它是可导函数，适用于BP训练的神经元。2.4.3 BP神经网络学习算法的MATLAB实现2.4.3 BP神经网络学习算法的MATLAB实现例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。 2.4.3 BP神经网络学习算法的MATLAB实现2.4.3 BP神经网络学习算法的MATLAB实现%以每三个月的销售量经归一化处理后作为输入 P=[0.5152 0.8173 1.0000 ; 0.8173 1.0000 0.7308; 1.0000 0.7308 0.1390; 0.7308 0.1390 0.1087; 0.1390 0.1087 0.3520; 0.1087 0.3520 0.0000;]'; %以第四个月的销售量归一化处理后作为目标向量 T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761]; %创建一个BP神经网络，每一个输入向量的取值范围为[0 ,1]，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法 net=newff([0 1;0 1;0 1],[5,1],{'tansig','logsig'},'traingd'); net.trainParam.epochs=15000; net.trainParam.goal=0.01; %设置学习速率为0.1 LP.lr=0.1; net=train(net,P,T); 2.4.3 BP神经网络学习算法的MATLAB实现2.4.3 BP神经网络学习算法的MATLAB实现BP网络应用于药品预测对比图 由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小BP神经网络的特点BP神经网络的特点非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 小结小结BP算法背景 BP神经网络模型 BP算法 基本思想 推导过程 实现 BP神经网络的MATLAB函数 BP神经网络的应用实例 BP神经网络与感知器神经网络的对比2.5径向基函数神经网络模型与学习算法2.5径向基函数神经网络模型与学习算法概述 概述 1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 1988年， Moody和Darken提出了一种神经网络结构，即RBF神经网络 RBF网络是一种三层前向网络 RBF网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的 2.5.1 RBF神经网络模型 2.5.1 RBF神经网络模型 径向基神经网络的神经元结构 激活函数采用径向基函数 以输入和权值向量之间的 距离作为自变量 2.5.1 RBF神经网络模型2.5.1 RBF神经网络模型径向基神经网络结构 2.5.1 RBF神经网络模型2.5.1 RBF神经网络模型RBF网络与BP网络比较： RBF网络的输出是隐单元输出的线性加权和，学习速度加快 BP网络使用sigmoid()函数作为激活函数，这样使得神经元有很大的输入可见区域 径向基神经网络使用径向基函数（一般使用高斯函数）作为激活函数，神经元输入空间区域很小，因此需要更多的径向基神经元 2.5.2 RBF网络的学习算法 2.5.2 RBF网络的学习算法 学习算法需要求解的参数 径向基函数的中心 方差 隐含层到输出层的权值 学习方法分类（按RBF中心选取方法的不同分） 随机选取中心法 自组织选取中心法 有监督选取中心法 正交最小二乘法等 2.5.2 RBF网络的学习算法2.5.2 RBF网络的学习算法自组织选取中心学习方法 第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 高斯函数作为径向基函数 2.5.2 RBF网络的学习算法2.5.2 RBF网络的学习算法网络的输出(网络结构如图2-21所示 ) 设d是样本的期望输出值，那么基函数的方差可表示为 : 2.5.2 RBF网络的学习算法2.5.2 RBF网络的学习算法自组织选取中心算法步骤 1.基于K-均值聚类方法求取基函数中心 （1）网络初始化。 随机选取 个训练样本作为聚类中心 。 （2）将输入的训练样本集合按最近邻规则分组。 按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。 （3）重新调整聚类中心。 计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回（2），进入下一轮的中心求解。2.5.2 RBF网络的学习算法2.5.2 RBF网络的学习算法2.求解方差 RBF神经网络的基函数为高斯函数时，方差可由下式求解： 式中 为中所选取中心之间的最大距离。 3.计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下： 2.5.3 RBF网络学习算法的MATLAB实现 2.5.3 RBF网络学习算法的MATLAB实现 RBF网络的MATLAB函数及功能2.5.3 RBF网络学习算法的MATLAB实现2.5.3 RBF网络学习算法的MATLAB实现newrb() 功能 建立一个径向基神经网络 格式 net = newrb(P，T，GOAL，SPREAD，MN，DF) 说明 P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最大数目，DF为两次显示之间所添加的神经元神经元数目。 2.5.3 RBF网络学习算法的MATLAB实现2.5.3 RBF网络学习算法的MATLAB实现newrbe() 功能 建立一个严格的径向基神经网络,严格是指径向基神经网络的神经元的个数与输入值的个数相等。 格式 (1) net = newrb(P，T， SPREAD) 说明 各参数的含义见Newrb。2.5.3 RBF网络学习算法的MATLAB实现2.5.3 RBF网络学习算法的MATLAB实现例2-4 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。 2.5.3 RBF网络学习算法的MATLAB实现2.5.3 RBF网络学习算法的MATLAB实现例2-4误差曲线和逼近曲线小结小结背景 RBF网络的基本思想 RBF神经网络模型 高斯函数 RBF网络的学习算法 RBF网络的MATLAB实现 RBF网络的应用 2.6 自组织神经网络模型与学习算法2.6 自组织神经网络模型与学习算法概述概述自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。 自组织神经网络属于前向神经网络类型，采用无导师学习算法， 自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况，而且可以学习神经网络的拓扑结构。 概述概述自组织竞争神经网络类型 自适应共振理论(Adaptive Resonance Theory，ART)网络 自组织特征映射(self-Organizing Map，SOM)网络 对传(Counter Propagation，CP)网络 协同神经网络(Synergetic Neural Network．SNN) 2.6.1 自组织特征映射神经网络结构2.6.1 自组织特征映射神经网络结构由芬兰学者Teuvo Kohonen于1981年提出 基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 I’m Teuvo Kohonen2.6.1 自组织特征映射神经网络结构2.6.1 自组织特征映射神经网络结构SOM神经网络结构2.6.1 自组织特征映射神经网络结构2.6.1 自组织特征映射神经网络结构SOM神经网络平面示意图2.6.1 自组织特征映射神经网络结构2.6.1 自组织特征映射神经网络结构SOM神经网络立体示意图 2.6.2自组织特征映射网络的学习算法 2.6.2自组织特征映射网络的学习算法 自组织特征映射学习算法原理 Kohonen自组织特征映射算法，能够自动找出输入数据之间的类似度，将相似的输入在网络上就近配置。因此是一种可以构成对输入数据有选择地给予响应的网络。 类似度准则 欧氏距离 2.6.2自组织特征映射网络的学习算法2.6.2自组织特征映射网络的学习算法自组织特征映射学习算法步骤 (1)网络初始化 用随机数设定输入层和映射层之间权值的初始值 (2)输入向量 把输入向量输入给输入层 (3) 计算映射层的权值向量和输入向量的距离 映射层的神经元和输入向量的距离，按下式给出 2.6.2自组织特征映射网络的学习算法2.6.2自