为了正常的体验网站,请在浏览器设置里面开启Javascript功能!

第2章神经网络基础知识

2012-07-16 50页 ppt 1MB 41阅读

用户头像

is_582442

暂无简介

举报
第2章神经网络基础知识null人工神经网络及应用人工神经网络及应用主讲 何东健第二章 神经网络基础知识第二章 人工神经网络建模基础第二章 人工神经网络建模基础 神经网络的研究基础包括:生物学基础、认识科学基础、理论基础(数学、非线性动力学等)以及实现的物质基础。 人工神经网络是对生物神经系统的某种抽象、简化与模拟。具体人工神经网络是由许多并行互连的相同神经元模型组成。 一个神经网络的神经元模型和结构,描述了一个网络如何将输入矢量转化为输出矢量的过程。该过程实质是一个计算过程。也就是说...
第2章神经网络基础知识
null人工神经网络及应用人工神经网络及应用主讲 何东健第二章 神经网络基础知识第二章 人工神经网络建模基础第二章 人工神经网络建模基础 神经网络的研究基础包括:生物学基础、认识科学基础、理论基础(数学、非线性动力学等)以及实现的物质基础。 人工神经网络是对生物神经系统的某种抽象、简化与模拟。具体人工神经网络是由许多并行互连的相同神经元模型组成。 一个神经网络的神经元模型和结构,描述了一个网络如何将输入矢量转化为输出矢量的过程。该过程实质是一个计算过程。也就是说,人工神经网络的实质体现了网络输入和输出之间的一种关系。首先学习脑的构成和工作机理。null1、人体神经系统构成 人体神经系统:中枢神经系统和周围神经系统。 简化模型如图。 中枢神经系统是信息处理机构。各种信号经过传入神经到中枢,进行、处理。 周围神经系统包括传入神经和传出神经系统。 传入系统:接收人体各感觉器官的信息 传出系统:将中枢神经系统的调节、控制指令信息传到各种效应器。2.1 脑的生物神经系统概述null2、高级中枢神经系统功能 构成包括:大脑、丘脑、小脑、下丘脑-脑垂体 功能:人脑具有推理、联想、记忆、学习、决策、分析、判断等“思维智能”。协调控制。 大脑-左脑:逻辑思维;右脑:形象思维。 小脑-协调人体的运动和行为,控制人体姿势,保持平衡等。 下丘脑-发放激素,控制内分泌。null3、脑组织的分层结构 中枢神经系统区域间电路局部电路神经元树突神经微电路分子和离子依赖于树突的集合比神经元复杂,完成脑局部区域特征操作复杂性更高ANN相当的部分null 神经元是生物神经系统的最基本的单元,形状和大小各种各样。人脑有1.4×1011个神经元,每个神经元与103-105个神经元相连,构成一个巨型网络系统。从组织结构方面看,各种神经元有其共性。2.2 生物神经基础系统概述null2.2.1 生物神经元结构 神经元由细胞体、树突和突轴组成,如图。 null细胞体:是神经元的主体,由细胞核、细胞质和细胞膜三部分构成,占细胞体的大部分,呼吸、新陈代谢。细胞的外部是细胞膜,将膜内外细胞液分开,对不同的离子有不同通透性,故细胞膜内外存在静止膜电位(内负外正)。 树突:从细胞体向外延伸出许多树状突起,称为树突。接收来自其他神经元的传递信号,相当于细胞体的输入端,起感受作用 。null轴突:从细胞体向外伸出的最长的一突起,称为轴突。他比树突长而细,用来传出细胞体产生的输出电化学信号。也就是通常说的神经纤维,在轴突末端形成的许多细的分支。就是神经末梢,每一条神经末梢可以向系统神经元传出信号,相当于细胞体的输出。 突触:神经末梢与其他神神经元的细胞体或树突之间进行通讯连接,相当于神经元之间的输入/输出接口。突触前、突出后和突触间隙,形成功能性接触,该接触部位称为突触。nullnull2.2.2 神经元工作机理 1、信息的产生 细胞膜将细胞内外分开,由于细胞膜对不同离子有不同的通透性,造成膜内外细胞液中离子浓度不同,因此,细胞体内外具有不同的电位,通常,内部电位比外部电位低。细胞内外电位之差称为膜电位。没有信号输入时的膜电位称为静止膜电位,一般在-70mV左右。不应期null当外部输入刺激使神经元处于激活状态时,电位比静止膜电位高越15mV,即超过阈值电位(-55mV),该细胞变成活性细胞,其膜电位自发地急速升高,在1ms内比静止膜电位上升100mV左右。此后,膜电位又急速下降,回到静止时的值,这一过程称作细胞的兴奋过程。兴奋的结果,产生一个幅值为100mV左右的电脉冲,又叫神经冲动。 神经元的3种状态:静止、兴奋、抑制 null当外部输入刺激使神经元处于激活状态时,电位比静止膜电位高越15mV,即超过阈值电位(-55mV),该细胞变成活性细胞,其膜电位自发地急速升高,在1ms内比静止膜电位上升100mV左右。此后,膜电位又急速下降,回到静止时的值,这一过程称作细胞的兴奋过程。兴奋的结果,产生一个幅值为100mV左右的电脉冲,又叫神经冲动。 细胞体产生一个电脉冲后,即使再受到很强的刺激,也不会立即产生兴奋。这是因为有数毫秒的不应期。null2、信息的传递与接收 突触前的突触小泡释放一种化学物质-递质。在前一个神经元发放脉冲并传到体突触末端后,递质从突触前膜释放,经突触间隙的液体扩散,在突触后膜与特殊受体结合,受体的性质决定递质传递的是兴奋、抑制信号,并以此改变后膜的离子通透性,形成兴奋性、一致性突触。 神经电脉冲神经递质产生神经递质释放递质与受体结合电生理反应null3、信息的整合 单个神经元可以与多达上千个其他神经元的轴突末梢形成突触连接,接收来自其他神经元的脉冲输入。在同一时刻产生刺激引起的膜电位的变化,大致等于各单独刺激引起的膜电位的代数和。 也就是说:细胞体相当于一个初等处理器,对来自其他神经元的神经信息总体求和,产生一神经输出信号。一个神经元把来自不同树突的兴奋性或抑制性输入信号(突触后膜电位)累加求和的过程,称为空间整合。 在一定时间内陆续到达的刺激脉冲引起的突触膜电位增大,称为时间整合。null 考虑到输入信号的影响要持续一段时间(毫秒级),因此,神经元的整合功能是一种时空整合。当神经元的时空整合产生的膜电位超过阈值时,神经元产生兴奋性电脉冲,处于兴奋状态;否则,无电脉冲产生,处于抑制状态。整合后产生的信号延着该细胞的轴突传递出去,并通过突触传递给其他神经细胞,神经细胞通过突触的连接形成神经网络。null4、生物神经网络系统 多个生物神经元以确定的方式和拓扑结构相互连接,形成生物神经网络。 是一个有层次、多单元的生物信息处理系统。有独特的运行方式和控制机制,只有当多个神经元有机集合为一个整体,才能对刺激的特殊性质给出明确的答复。null2.3 人工神经元模型 神经元及其突触是神经网络的基本器件,故应该首先模拟生物神经元。 人工神经元:处理单元、节点 人工神经元是对生物神经元的信息处理过程的抽象,用数学语言进行描述,对其结构和功能进行模拟,用模型图达。 抽象是从数学角度而言,模拟是从神经元的结构和功能而言。 null2.3.1 神经元建模 McCulloch,Pitts,1943提出M-P模型。6点假设: (1)多输入、单输出; (2)输入分兴奋性(1)和抑制性(0)2种; (3)具有空间整合特性和阈值特性; (4)输入和输出有固定的时滞; (5)忽略时间整合作用和不应期; (6)神经元本身非时变(突触时延、强度为常数)null神经元模型 Wj1 WjX2 X1 Wj2 Xn Tj Oj f (in)=0∑W jiX i-TjWjx1,x2,…xn:某一神经元的n个输入; wji:第j个神经元与第i个神经元的突触连接强度/权值; Wj:表示神经元的的阈值,相应于膜电位。 Oj :第j个神经元的输出可以描述为: Oj =f(Aj) f(.)表示神经元输入-输出关系的函数,称为作用函数或传递函数。null神经元模型的另一种表示f(.)∑wjixiWj1Wj2Wjnx1x2xnWjTjAOjA=∑wjixi Oj=f(A-WjTj)null2.3.2 神经元数学模型 设xi(t)为t时刻神经元j接收来自神经元i的输入信息,Oj(t)为t时刻神经元j的输出,神经元j的状态可表示为: Oj(t)=f [∑wji xi(t-τji)-wjTj] τji-输入输出突触时延; Tj-神经元j的阈值; wji:神经元i到神经元j的突触连接强度,其值称为权重值; f()-作用函数或传递函数。null设突触时延是单位时间,则: Oj(t+1)=f [∑wji xi(t)-wjTj] 上式全面体现了6点假设。 输入总和: Aj=∑wjixi(t) Aj= X Wji=(wj1,wj2…...wji)T X=(x1,x2,…xi…xn) T Oj=f(Aj)=f( X-wjTj) null2.3.3 变换函数(作用函数、激活函数) 变换函数(Activation Transfer function)是神经网络的核心。各种不同模型的区别在于变换函数不同。变换函数反映和决定了神经元输出与其激活状态之间的关系。 作用: (1)控制输入对输出的激活作用; (2)对输入、输出进行函数转换; (3)将可能无限域的输入变换成指定的有限范围内的输出。null 常用的激活函数可归结为4种形式:阈值型、S型、伪线性型、概率型。 1、阈值型(硬限制型) 这种激活函数将任意输入转化为0或1的输出,函数f()为阶跃函数。输入/输出关系为: nullnfnf-b(a)无偏差阈值型 (b)有偏差阈值型 阈值型激活函数1010nf1-1nf-b1-1null2、非线性(S型) 最常见的是单极性Sigmoid函数。 特点:函数本身、导数均为连续,处理方便 S型激活函数将任意的输入压缩到(0,1)的范围。 单极性(对数型)S型激活函数(logsig)为: f’(x)=f(x)[1-f(x)] 双极性(双曲正切)S型激活函数(tansig)的输入、输出函数关系为: f’(x)=[1-f(x)2]/2 nullF(x)1-b-1xF(x)1-b-1x (a)有偏差对数S型 (b)有偏差双曲正切S线型 S型激活函数null S型激活函数具有非线形放大增益: 对任意输入的增益等于在输入、输出曲线中该输入点处的斜率值。当输入由-∞增大到0,增益由0增至最大;由0增大到∞时,增益由最大逐渐降低至0,并总为正。利用该函数使同一网络即能处理小信号,也能处理大信号。 null3、分段线性型 特点:在一定区间满足线性关系,也称为伪线性。 线形激活函数使网络的输出等于加权输入和加上偏差。输入输出关系为: nxf (a)无偏差线型 (b)有偏差线型 图2.3 线型激活函数nxf(x)= cx 0xc0 x≤0xcnull 4、概率型变换函数 该模型神经元输入和输出之间的关系不确定,需要一个随机概率函数描述其输出状态为0或1的概率。 假设神经元状态为1的概率为: 那么,状态为0的概率为: P(0 ) = 1 – P (1) 式中,T称为温度参数。 因输出状态与热力学中的玻尔兹曼机类似,故称之为热力学模型。null2.4 人工神经网络模型 神经网络结构和工作机理基本上是以人脑的组织结构和活动规律为背景的,它反映了脑的某些基本特征,但并不是要对人脑部分的真正实现,可以说它是某种抽象、简化或模仿。 如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来,构成群体并行分布式处理的计算结构,实现对复杂信息的处理和存储,并表现出各种优越特性,这种结构就是人工神经网络,在不引起混淆的情况下,统称为神经网络。null不同角度分类: 按网络结构:前向、反馈 按性能:连续、离散,确定、随机。 按学习方式:有导师学习、无导师学习。 2.4.1 网络拓扑结构类型 根据神经元之间连接方式,可分为两大类:层次型结构、互连型结构。 1、层次型结构 将两个以上神经元并联起来,每个神经元具有同样的输入,即可组成一个神经元层,每个神经元产生一个输出。 null图2.5 分层网络的功能层次 分层网络一般将神经元按功能分成若干层:如输入层、隐层(又称中间层)和输出层,各层顺序连接。输入层隐含层输出层null输入层:是网络与外部环境打交道的地方,它接收外部输入模式,并由输入单元传送给相连隐层各单元; 隐层:是网络的内部处理单元层,神经网络具有模式变换能力,如模式分类、模式完善、特征抽取等,主要体现在隐层单元的处理。根据模式变换功能的不同,隐层可以有多层,也可以没有。由于隐层单元不直接与外部输入输出打交道,故通常将中间层称为隐层; 输出层:是网络产生输出模式并与显示设备或执行机构打交道的层。将有导师学习或强化学习情况下对输出层单元产生作用的已知状态信息层,称为训练层。例如,对于模式匹配问题,训练层单元的状态向量即为相应于输入模式的期望输出模式。null分层网络三种互连形式: (1)单纯型层次网络结构 神经元分层排列,各层神经元接收前一层输入并输出到下一层,层内神经元本身、相互间不连接。 (2)输出层到输入层有连接的层次网络结构 输出到输入有连接(反馈) (3)层内有相互连接的层次网络结构。 同一层神经元间有互联。特点:引入侧向作用,使同时激活的神经元个数可以控制。null(a)单纯型层次网络结构(b)反馈网络(c)层内有相互连接(d)互联型结构null图 (a):简单的前向网络形状,输入模式由输入层进入网络,经过中间各层的顺序模式变换,由输出层产生一个输出模式,便完成一次网络状态更新。所谓前向网络是由分层网络逐层模式变换处理的方向而得名的。BP网络就是一个典型的前向网络。 图 (b:为输出层到输入层具有反馈的前向网络,反馈的结果形成封闭环路,具有反馈的单元也称为隐单元,其输出称为内部输出。 图 (c):为层内有相互连接的前向网络,同一层内单元的相互连接使它们有彼此牵制作用,如限制同一层内能同时激活的单元个数,竞争抑制网络就属此类。null2、相互连接型结构 是指网络中任何两个单元之间是可达的,即存在连接路径,如图 所示。Hopfield网络和波尔茨曼机模型结构均属此类。可分为:(1)全互联型;(2)局部互联型;(3)稀疏连接型 null2.4.2 按信息流向 前向、反馈 前向:信息处理的方向从输入层到各隐层再到输出层。信息的逐层传递,没有反馈。 反馈:有输出的信息流向输入节点,形成信息反馈。null2.5 神经网络的学习 学习:是从神经网络的角度而言的。是神经网络最重要的特征之一。神经网络能够通过对他的训练,改变其内部表示(改变连接权值),使输入-输出变换向好的方向发展。 训练:是从人的角度而言的。实质是用同一个训练集的样本反复作用于网络,网络按照一定的训练规则(学习规则或学习算法),自动调节神经元之间的连接强度或拓扑结构,当网络的实际输出满足期望的要求,或者趋于稳定,这认为训练圆满结束。null学习技术的常见分类 权值修正学派认为:神经网络的学习过程就是不断调整网络的连接权,以获得期望的输出。如何调整权值即学习规则的研究是一个非常重要的课题。null 按学习时是否需要外部指导信息,可将学习分为三种类型,即有导师学习、无导师学习、强化学习和灌输式学习。 有导师学习(有监督学习): 必须事先知道学习的期望结果-教师信息,并按某一学习规则修正权值。BP网络学习就是典型的有导师学习的例子。给定一组输入模式及相应的期望输出模式,构成一组输入-输出模式对,网络根据输入模式得出一个实际输出模式,如果实际输出模式与期望输出模式之间存在一定的误差,就按一定的规则修正权值,以减小输出误差。这样反复学习多次,直到对所有训练用输入模式,网络均能产生期望的输出。 这时,可以认为网络在导师的训练下,学会了训练集中包含的知识和规则,可用来工作。null无导师学习 不需要教师信息和强化信号,只要给定输入信息,网络通过自组织调整,自学习并给出一定意义下的输出响应。竞争学习就是一个典型的无导师学习。 强化学习 利用某一种表示“奖/惩”的全局信号,衡量与强化输入相关的局部决策如何。局部决策指变量(如权、神经元状态)的变化。强化信号并不像复杂的教师信号,它只表示输出结果“好”或“坏”。强化学习需要的外部预知信息很少,当不知道对于给定的输入模式,相应输出应该是什么时,强化学习能够根据一些奖惩规则,得出有用的结果。null灌输式学习 将网络设计成能记忆特别的例子,以后当给定有关该例子的信息时,该例子便被回忆起来。特点:权值是设计出来的。“死记硬背”。如Hopfield网络的权值。null2.5.1 Hebb学习规则 其思想最早是由Hebb1949年作为假设提出,并已得到神经细胞学说的证实,人们称之为 Hebb学习规则。可描述为:如果神经网络中神经元i与另一直接和其连接的神经元j同时处于兴奋状态,那么,这两个神经元的连接强度应该加强。 学习信号: 权值调整: 每个分量调整: 该如何体现Hebb学习规则?ijOjw1jx1wijxinull式中:η是一个正常量,决定每次权值修正量,又称为学习因子。 由于Hebb学习规则具有一定的生物依据,基本思想很容易被接受,因此,得到了较广泛的应用。 例2 . 1 inetf()1-21.501-100.5X1W(0)f(net)=[1 -1 0 0.5] =f(3)=1 △w=ηsng(net)X1 =1*1*1 -2 1.5 01 -2 1.5 0W(1)=2 -3 1.5 0.5null2.5.2 离散感知器学习规则 Rosenblatt 1958年提出感知器,其学习规则规定,学习信号为期望输出(教师信号)和实际输出的差。 r=dj-oj dj-期望输出,oj-实际输出。 变换函数为符号函数: f()=sng(WX)= 权值调整公式1 WX≥0-1 WX<0null显然,当r=0时,不需要调整权值,当有误差时,可简化为 Δwj=±2ηX 感知器学习规则只适用于二进制神经元。初始权值可以取任意值。感知器规则是一种有导师学习。 2.5.3 连续感知器学习规则 1986提出δ学习规则,为连续性感知器学习规则。 学习信号定义为: null学习信号称为δ。从定义可以看出,学习信号为误差与函数在某时刻的导数的乘积成正比。 δ规则要求函数可导,因此,只适用于连续函数,如Sigmoid函数。 δ规则是根据输出值与期望值的最小平方误差条件导出的。 误差E是Wj的函数,使E最小,Wj应该与误差的负梯度成正比: nullE的梯度为: 代入可得权值调整公式为: η与X之间部分为学习信号 每个权值分量由下式调整: 学习信号δ==ηδxinull例2.2 η=0.1, ,要求网络输出为(-1)(有误!)0.5-1.01.00-11-20O(-1-0.848)null[0.526 0.974 -0.948 0] -1 0 1.5 -0.5null[0.531 0.974 -0.956 0.002] -1 1 0.5 -1nullδ学习规则由4步描述: (1)选择一组初始权值Wji ( 0 ); (2)计算某一输入模式对应的实际输出与期望输出的误差; (3)更新权值(阈值可视为输入恒为-1的一个权值): Wji (t + 1 ) = Wji ( t ) + η[ dj - yj ( t ) ] xi ( t ) 式中,η为学习因子;dj、yj分别表示第j个神经元的期望输出与实际输出;xi为第j个神经元的输入。 (4)返回步骤(2),直到对所有训练模式网络输出均能满足要求。null2.5.4 最小均方学习规则 1962年提出,也称Windrow-Hoff规则。可使实际输出和期望输出之间的平方差最小,故称为最小均方规则( LMS)。其学习信号为: 权向量调整量: 各分量: 在δ规则中,若假定变换函数为线性: null则,LMS和δ规则表达式相同。LMS规则可看成是δ规则的一种特殊情况。 特点:学习规则与变换函数无关,不用求导数,学习速度快、精度也高。 2.5.5 相关学习规则 学习信号:r=dj 易得出: 规则表明:权值增量与djxi的乘积成正比。 相关学习是Hebb学习的一种特例,但相关学习是有导师学习。null2.5.5 胜者为王学习规则 是竞争学习规则,无导师学习。一般将网络的某一个层确定为竞争层,对一个特定的输入X,竞争层的所有p个神经元均有相应输出,其中相应输出最大的那个神经元j为竞争中获胜的神经元: 只有获胜的神经元才调整权值: α为0-1之间的小的常数,随学习进展其值减小。 其实,学习的本质就是竞争层各神经元所对应的权向量被调整为输入样本空间的聚类中心。null2.5.6 内/外星学习规则 神经网络中有两类常见节点,分别称为内星节点和外星节点。内星节点总是接受来自其他神经元的输入加权信号,因此是信号的汇聚点,对应的权值向量称为内星权向量;外星节点总是向其他神经元发出输出加权信号,因此是信号的发散点,对应的权值向量称为外星权向量。null内星学习规则:规定内星节点的输出响应是输入向量x和内星权向量wj的点积。该点积反映了x与wj的相似程度,其权值按下式调整。 因此胜者为王学习规则与内星规则一致。本质:权向量向输入X靠拢。 外星学习规则: 外星学习规则属于有导师学习,其目的是为了生成一个期望的m维输出向量d,设对应的外星权向量用Wj表示,学习规则如下 本质:使权向量向期望输出向量靠拢。null本章小结 1、生物神经元的信息处理 2、神经元模型 3、神经网络模型 4、神经网络学习null表2.3 神经网络模型性能与分类null
/
本文档为【第2章神经网络基础知识】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。

历史搜索

    清空历史搜索