人工神经网络.02.神经元模型和网络结构

null人工神经网络 (Artifical Neural Network)*人工神经网络 (Artifical Neural Network)张　凯 副教授武汉科技大学 计算机学院第二章 神经元模型和网络结构*第二章 神经元模型和网络结构1. 生物学的启示2. 神经元模型3. 神经网络结构4. 章节小结生物学的启示生物学的启示生物学的启示生物学的启示生物学的启示生物学的启示人脑具有巨大的并行计算能力 大脑约有1011个神经元 – 每个神经元约有104个连接。 生物学的启示生物学的启示生物学的启示生物学的启示神经元相对于电子线路要慢许多 10-3 秒相对于10-9秒 生物学的启示生物学的启示树突（输入） 轴突（输出） 细胞体 突触神经元在结构上由细胞体、树突、轴突和突触4部分组成。生物学的启示生物学的启示树突（输入） 轴突（输出） 细胞体 突触（1）细胞体 细胞体是神经元的主体，由细胞核、细胞质和细胞膜3部分组成。细胞体的外部是细胞膜，将膜内外细胞液分开。由于细胞膜对细胞液中的不同离子具有不同的通透性，这使得膜内外存在着离子浓度差，从而出现内负外正的静息电位。这种电位差称为膜电位。生物学的启示生物学的启示树突（输入） 轴突（输出） 细胞体 突触（2）树突 从细胞体向外延伸出许多突起的神经纤维。负责接收来自其他神经元的输入信号，相当于细胞体的输入端（input）。生物学的启示生物学的启示树突（输入） 轴突（输出） 细胞体 突触（3）轴突 由细胞体伸出的最长的一条突起称为轴突。轴突比树突长而细。轴突也叫神经纤维，末端处有很多细的分支称为神经末梢，每一条神经末梢可以向四面八方传出信号，相当于细胞体的输出端（output）。生物学的启示生物学的启示树突（输入） 轴突（输出） 细胞体 突触（4）突触 一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入/输出接口（I/O），称为突触。生物学的启示生物学的启示突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，单个神经元可以与多达上千个其他神经元的轴突末梢形成突触连接，接受从各个轴突传来的脉冲输入。生物学的启示生物学的启示这些输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同。生物学的启示生物学的启示输入部位不同，该神经细胞膜电位是它所有突触产生的电位总和，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。生物学的启示生物学的启示神经元的信息是宽度和幅度都相同的脉冲串，若某个神经细胞兴奋，其轴突输出的脉冲串的频率就高；若某个神经细胞抑制，其轴突输出的脉冲串的频率就低，甚至无脉冲输出。生物学的启示生物学的启示因此，突触可以分为兴奋性和抑制性两种，兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。脉冲的传递是正向的，不允许逆向传播。另外，突触传递信息需要一定的延迟。null生物神经元－－信息处理单元null生物神经元－－信息处理单元null生物神经元－－信息处理单元null生物神经元－－信息处理单元null生物神经元－－信息处理单元null生物神经元－－信息处理单元综上所述，我们可以概括出生物神经网络的假定特点： 每个神经元都是一个多输入单输出的信息处理单元； 神经元输入分兴奋性输入和抑制性输入两种类型； 神经元具有空间整合特性和阈值特性； 神经元输入与输出间有固定的时滞，主要取决于突触延搁。 M-P模型M-P模型1943年心理学家W.McCulloch(迈科络)和数学家W.Pitts(皮茨)合作提出了M-P模型，即以他们两个人的名字命名（McCulloch-Pitts）。 M-P模型M-P模型Walter PittsWarren McCullochM-P模型M-P模型McCulloch和Pitts按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。简单点说，它是对一个生物神经元的建模。M-P模型M-P模型为了使得建模更加简单，以便于进行形式化达，我们忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。如下就是一个M-P模型的示意图。M-P模型M-P模型结合M-P模型示意图来看，对于某一个神经元 j（注意别混淆成变量了，在这里 j 只是起到标识某个神经元的作用），它可能接受同时接受了许多个输入信号，用xi 表示，前面说过，由于生物神经元具有不同的突触性质和突触强度，所以对神经元的影响不同，我们用权值wij来表示，其正负模拟了生物神经元中突出的兴奋和抑制，其大小则代表了突出的不同连接强度。由于累加性，我们对全部输入信号进行累加整合，相当于生物神经元中的膜电位，其值就为 M-P模型M-P模型神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值　时，神经元才被激活而发放脉冲，否则神经元不会发生输出信号。整个过程可以用下面这个函数来表示： M-P模型M-P模型由此可以得到出M-P模型的6个特点： 每个神经元都是一个多输入单输出的信息处理单元神经元输入分兴奋性输入和抑制性输入两种类型； 神经元具有空间整合特性和阈值特性； 神经元输入与输出间有固定的时滞，主要取决于突触延搁； 忽略时间整合作用和不应期； 神经元本身是非时变的，即其突触时延和突触强度均为常数。 null生物神经元－－信息处理单元信息输入null生物神经元－－信息处理单元信息 　传播与处理null生物神经元－－信息处理单元信息 　传播 与处理（整合）null生物神经元－－信息处理单元信息 　传播与处理：兴奋抑制null生物神经元－－信息处理单元信息输出生物神经元对应人工神经元生物神经元对应人工神经元人工神经元－－信息处理单元人工神经元－－信息处理单元信息输入人工神经元－－信息处理单元人工神经元－－信息处理单元信息 　传播与处理： 积与和人工神经元－－信息处理单元人工神经元－－信息处理单元信息 　传播与处理： 积与和人工神经元－－信息处理单元人工神经元－－信息处理单元信息 　传播与处理: 非线性人工神经元－－信息处理单元人工神经元－－信息处理单元信息输出人工神经元－－信息处理单元人工神经元－－信息处理单元人工神经－－信息处理单元人工神经－－信息处理单元人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出原理和实例原理和实例符号 图、数字公式以及解释图和数字公式的正文，将使用一下符号： 标量：小写的斜体字母，如a,b,c。 向量：小写的黑正体字母，如a,b,c。 矩阵：大写的黑整体字母，如A,B,C。 单输入神经元模型单输入神经元模型输入 通用神经元 单输入神经元模型单输入神经元模型神经元按下式计算例如，若w=3，p=2，b=1.5，则传输函数传输函数上例中传输函数可以是n的线性或者非线性函数。可以用特定的传输函数满足神经元要解决的特定问。 本书包括了各个不同的传输函数。下面将讨论其中最常用的三种。 硬极限传输函数 线性传输函数 对数-S形传输函数传输函数 Transfer Functions传输函数 Transfer Functions硬极限传输函数传输函数 Transfer Functions传输函数 Transfer Functions线性传输函数传输函数 Transfer Functions传输函数 Transfer Functions对数-S型传输函数传输函数 Transfer Functions传输函数 Transfer FunctionsSigmoid Function ： 特性： 值域a∈(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性函数 |n|较大时可近似阈值函数 null多输入神经元多输入神经元权值矩阵：通常，一个神经元有不止一个输入。具有R个输入的神经元如下图所示。其输入p1,p2,…,pR分别对应权值矩阵w的元素w1,1,w1,2,…,w1,R 。 多个输入神经元多个输入神经元输入 多神经元 多个输入神经元多个输入神经元该神经元有一个偏置值b，它与所有输入的加权和累加， 从而形成净输入n表达式可以写成矩阵形式：神经元的输出可以写成：多个输入神经元多个输入神经元输入 多神经元 权值下标权值下标：权值矩阵元素下标的第一个下标表示权值相应连接所指定的目标神经元编号，第二个下标表示权值相应连接的源神经元编号。多个输入神经元多个输入神经元多个输入神经元多个输入神经元简化符号左边垂直的实心条表示输入向量p，p下面的变量R×1表示p的维数，也即输入是由R个元素组成的一维向量。这些输入被送人权值矩阵w，w有1行R列。常量1则作为输入与标量偏置值b相乘。传输函数f的净输入是n，它是偏置值b与积wp的和。在这种情况下，神经元的输出a是一个标量。如果网络有多个神经元，那么网络输出就可能是一个向量。神经元的层 Layer of Neurons神经元的层 Layer of Neurons多个并行操作的神经元输入向量p的每个元素均通过权值矩阵W和每个神经元相连。神经元的层 Layer of Neurons神经元的层 Layer of Neuronsp =p1p2pR输入向量通过如下权矩阵W进入网络： 同样，具有S个神经元、R个输入的单层网络也能用简化的符号表示为如图所示的形式。神经元的层 Layer of Neuronsa神经元的层 Layer of Neuronsb12S=bbbpp1p2pR=a1a2aS=. . .. . .. . .多层神经元 Multilayer Network多层神经元 Multilayer Network层上标 现在考虑具有几层神经元的网络。每个变量都附加一个上标来表示其所处层次。图所示的三层网络就使用了这种标记方法。该三层网络同样也可以用简化的符号表示多层神经元 Multilayer Network多层神经元 Multilayer Network隐含层输出层输入层简化符号 输入层 隐含层 如果某层的输出是网络的输出，那么称该层为输出层，而其他层叫隐含层。延时器和积分器延时器和积分器延时器延时 在讨论递归网络前，首先介绍一些简单的构造模块。第一种是延时模块。延时器和积分器延时器和积分器积分器 积分器 另一种将用于Hopfield网络中的连续时间递归网络的构造模块是积分器。递归网络（反馈网络）递归网络（反馈网络）初始条件 对称饱和线性层 递归网络 一个递归网络是一个带反馈的网络，其部分输出连接到它的输入。一种类型的离散时间递归网络。递归网络（反馈网络）递归网络（反馈网络）初始条件 对称饱和线性层 如何选取一种网络结构如何选取一种网络结构应用问题的描述从如下几个方面非常有助于定义网络的结构： (1)网络的输入个数=应用问题的输入数； (2)输出层神经元的数目=应用问题的输出数目； (3)输出层的传输函数选择至少部分依赖与应用问题的输出描述。 例题例题一个单输入神经元的输入是2.0，其权值是2.3，偏置值是-3。 （i）传输函数的净输入是多少？ （ii）神经元的输出是多少？ 解 （i）传输函数的网络输出由下式给出： （ii）因为未指定传输函数，所以不能确定该神经元的输出。 例题例题如果上例的神经元分别具有如下传输函数，请问其输出值分别是多少？ （i）硬极限函数 （ii）线性函数 （iii）对数-S形（logsig）函数 解 （i）硬极限传输函数有 （ii）线性传输函数有 （iii）对数-S形传输函数有 例题例题给定一个具有如下参数的两输入神经元：b=1.2,w=[3 2],p=[-5,6]T ，试依据下列传输函数计算神经元输出： （i）对称硬极限传输函数 （ii）饱和现行传输函数 （iii）双曲正切S形（tansig）传输函数 解 首先计算净输入n:例题例题现针对每种传输函数计算该神经元的输出。例题例题现有一个单层神经网络，具有6个输入和2个输出。输出被限制为0到1之间的连续值。叙述该网络的结构，请说明： （i）需要多少个神经元？ （ii）权值矩阵的维数是多少？ （iii）能够采用什么传输函数？ （iv）需要采用偏置值吗？例题例题解：该问题的求解结构如下： (i)需要两个输出神经元，每个输出一个。 (ii)对用2个神经元和6个输入，权值矩阵应有2行6列（乘积Wp是一个二元向量）。 (iii)根据前面所谈论的传输函数性质，选用logsig传输函数是最适合的。 (iv)题中未能给出足够的条件以确定是否需要偏置值null*