基于神经网络的专家系统

null2．3 基于神经网络的专家系统2．3 基于神经网络的专家系统2．3．1 神经网络概念 神经网络:泛指生物神经网络与人工神经网络。 生物神经网络:指由中枢神经系统及周围神经系统所构成的错综复杂的神经网络，它负责对动物机体各种活动的管理，其中最重要的是脑神经系统。 人工神经网络：指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。 一、脑神经系统与生物神经元一、脑神经系统与生物神经元脑神经系统:神经系统是由结构上相对独立的神经细胞构成的。据估计，人脑神经系统的神经细胞约为1011个。 生物神经元 生物神经元组成：神经细胞称之为生物神经元。神经元主要由三个部分组成：细胞体、轴突、树突。 null细胞体：由细胞核、细胞质与细胞膜等组成。它是神经元的新陈代谢中心，同时还用于接收并处理对其它神经元传递过来的信息。 轴突：由细胞体向外伸出的最长的一条分枝，每个神经元一个，其作用相当于神经元的输出电缆，它通过尾部分出的许多神经末梢以及梢端的突触向其它神经元输出神经冲动。 null(3) 树突：这是由细胞体向外伸出的除轴突外的其它分枝，长度一般均较短，但分枝很多。它相当于神经元的输人端，用于接收从四面八方传来的神经冲动。 (4) 突触：是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个冲经元的树突相接触的交界面，位于神经元的神经末梢尾端。null 生物神经元组成null 神经元之间的联系: 轴突及突触与其它许多神经元建立联系。 树突接收来自不同神经元的信息。 神经元之间的这种复杂联系就形成了相应的神经网络。 神经元重要特性： (1) 动态极化原则：在每一神经元中，信息都是以预知的确定方向流动的，即从神经元的接收信息部分 (细胞体、树突)传到轴突的起始部分，再传到轴突终端的突触，最后再传递给另一神经元。null(2) 时空整合处理功能：神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传人的信息，具有空间整合功能。 (3) 兴奋与抑制工作状态： 兴奋状态：指神经元对输入信息经整合后使细胞膜电位升高，且超过了动作电位的阈值，此时产生神经冲动，并由轴突输出。 抑制状态：指经对输入信息整合后，膜电位下降至低于动作电位的阈值，此时无神经冲动输出。null (4) 结构的可塑性：突触传递信息的特性是可变的，随着神经冲动传递方式的变化，其传递作用可强可弱。 (5) 突触界面具有脉冲与电位信号的转换功能。沿轴突传递的电脉冲是等幅、离散的脉冲信号，而细胞膜电位变化为连续的电位信号，这两种信号是在突触接口进行变换的。 (6) 突触对信息的传递具有时延和不应期。在相邻的两次输入之间需要一定的时间间隔，在此期间不响应激励，不传递信息，这称为不应期。二、人工神经元及其互连结构二、人工神经元及其互连结构 人工神经网络是由大量处理单元 (人工神经元、处理元件、电子元件、光电元件等) 经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。 信息的处理是由神经元之间的相互作用来实现。 知识与信息的存储现为网络元件互连间分布式的物理联系。 网络的学习和识别取决于各神经元连接权值的动态演化过程。null 1、人工神经元 人工神经元是组成人工神经网络的基本处理单元，简称为神经元。 心理学家麦克洛奇(W．McCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型，称为M-P模型 。 M-P模型 null圆表示神经元的细胞体； e，i 表示外部输入，对应于生物神经元的树突。e为兴奋性突触连接，i 为抑制性突触连接； θ表示神经元兴奋的阈值； y 表示输出，它对应于生物神经元的轴突。 nullM-P 模型对抑制性输入赋于了“否决权”，只有当不存在抑制性输入，且兴奋性输入的总和超过阈值，神经元才会兴奋，其输入与输出的关系如表所示。 M-P模型输入输出关系表 null在M-P模型基础上发展起来的常用神经网络模型如图所示：神经元的结构模型 x(i=1，2，…，n) 为该神经元的输入 Wi 为该神经元分别与各输入间的连接强度，称为连接权值； θ为该神经元的阈值， s 为外部输入的控制信号，它可以用来调整神经元的连接权值，使神经元保持在某一状态； y 为神经元的输出。 null神经元的工作过程一般是： (1) 从各输人端接收输入信号xi； (2) 根据连接权值wi，求出所有输入的加权和σ ： (3) 用某一特性函数 ( 又称作用函数) f 进行转换，得到输出y：null 2、神经元的互连形态 人工神经网络是由神经元广泛互连构成的，不同的连接方式就构成了网络的不同连接模型，常用的有以下几种： (1) 前向网络：前向网络又称为前馈网络。在这种网络中，神经元分层排列，分别组成输入层、中间层和输出层。每一层神经元只接收来自前一层神经元的输入。输入信息经各层变换后，最终在输出层输出，如图所示。null前向网络 null（2）从输出层到输入层有反馈的网络。这种网络与上一种网络的区别仅仅在于，输出层上的某些输出信息又作为输入信息送入到输入层的神经元上。 图2 从输出层到输入层有反馈的网络 null(3) 层内有互连的网络。同一层上的神经元可以互相作用。图3 层内有互连的网络 null（4）互连网络。在这种网络中，任意两个神经元之间都可以有连接，如图4所示。在该网络中，信息可以在神经元之间反复往返地传递，网络一直处在一种改变状态的动态变化之中。图4 互连网络三、 人工神经网络的特征及分类三、 人工神经网络的特征及分类 1、人工神经网络有以下主要特征： (1) 能较好地模拟人的形象思维。 (2) 具有大规模并行协同处理能力。 具有较强的容错能力和联想能力。 具有较强的学习能力。两种方式学习： 有教师的学习：指由环境向网络提供一组样例，每一个样例部包括输入及输出两部分，如果网络对输入的响应不一致，则通过调节连接权值使之逐步接近样例的标准输出，直到它们的误差小于某个预先指定的阈值为止。 无教师的学习：指事先不给出标准样例，直接将网络置于环境之中。学习阶段与工作阶段融为一体。null2、人工神经网络的分类 l 若按网络的拓扑结构划分，则可分为无反馈网络与有反馈网络； l 若按网络的学习方法划分，则可分为有教师的学习网络与无教师的学习网络； l 若按网络的性能划分，则既可以分为连续型与离散型网络，又可分为确定型与随机型网络； l 若按连接突触的性质划分，则可分为一阶线性关联网络与高阶非线性关联网络。 2.3.2 神经网络模型 2.3.2 神经网络模型  一、 感知器模型 罗森勃拉特于1957年提出的感知器模型，把神经网络的研究从纯理论探讨引向了工程上的实现，它是最先提出来的网络模型，而且它提出的自组织、自学习思想及收敛算法对后来发展起来的网络模型都产生了重要的影响。 最初的感知器是一个只有单层计算单元的前向神经网络，由线性阈值单元组成，称为单层感知器，后来针对其局限性进行了改进，提出了多层感知器。 1、线性阈值单元 线性阈值单元是前向网络(又称前馈网络)中最基本的计算单元，它具有n个输入(x1，x2…，x n)，一个输出(y)，n个连接权值(w1，w2，…，wn。)，且符合下式： 线性阈值单元示意 null2、单层感知器及其算法 单层感知器只有一个计算层，它以信号模板作为输入，经计算后汇总输出，层内无互连，从输出至输入无反馈，是一种典型的前向网络，如图所示。 null在单层感知器中，当输入的加权和大于等于阈值时，输出为1，否则为0或-1。它与M-P模型的不同之处是假定神经元间的连接强度(即连接权值wij ）是可变的，这样它就可以进行学习。 单层感知器的学习及其算法： 学习的目的是调整连接权值，以使网络对任何输入都能得到所期望的输出 。 考虑仅有一个输出节点的情况，其中，xi是该输出节点的输入；wi 是相应的连接权值(i=1，2．…，n)；y(t)是时刻t的输出；d是所期望的输出，它或者为1，或者为-1。学习算法如下：null (1) 给wi(0)(i=1，2，…，n)及阈值θ分别赋予一个较小的非零随机数作为初值；这里wi (0)表示在时刻t=0时第i个输入的连接权值。 (2) 输入一个样例X={x1，x2，…，xn}和一个所期望的输出d。 计算网络的实际输出： null（4）调整连接权值： 此处0<η≤1，它是一个增益因子，用于控制调整速度。如果实际输出与已知的输出一致，表示网络已经作出了正确的决策，此时就无需改又wi(t)的值。 (5)转到第(2)步，直到连接权值w，对一切样例均稳定不变时为止。 3、多层感知器 只要在输入层与输出层之间增加一层或多层隐层，就可得到多层感知器。三层感知器 null异或问的二层感知器模型 二、B-P模型 二、B-P模型 1、B-P(Back-Propagation)模型概念 B-P模型是一种用于前向多层神经网络的反传学习算法，由鲁梅尔哈特(D.Ruvmelhar)和麦克莱伦德(McClelland)于1985年提出。 B-P算法用于多层网络，网络中不仅有输入层节点及输出层节点，而且还有一层至多层隐层节点， 如图：nullB-P 网络 null信息首先由输入层传至隐层节点，经特性函数作用后，再传至下一隐层，直到最终传至输出层进行输出。 特性函数通常选用 S型函数，例如： null 2、B-P算法的学习过程 学习的目的是对网络的连接权值进行调整，使得对任一输入都能得到所期望的输出。 学习的方法： 用一组训练样例对网络进行训练，每一个样例都包括输入及期望的输出两部分。 首先把样例的输入信息输入到网络中，由网络自第一个隐屋开始逐层地进行计算，并向下一层传递，直至传至输出层；null以其输出与样例的期望输出进行比较，如果它们的误差不能满足要求，则沿着原来的连接通路逐层返回，并利用两者的误差按一定的原则对各层节点的连接权值进行调整，使误差逐步减小，直到满足要求时为止。null反向传播的适用情况 正向传播用于进行网络计算，对其一输入求出它的输出；反向传播用于逐层传递误差，修改连接权值，以使网络能进行正确的计算。 一旦网络经过训练用于求解现实问题，则就只需正向传播，不需要再进行反向传播。 nullB-P算法学习的步骤： (1)从训练样例集中取一样例，把输入信息输入到网络中。 (2)由网络分别汁算各层节点的输出。 (3)计算网络的实际输出与期望输出的误差。 (4)从输出层反向计算到第一个隐层，按一定原则向减小误差方向调整网络的各个连接权值。 (5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样例集的误差达到要求时为止。三、Hopfield模型 三、Hopfield模型 Hopfield 模型是霍普菲尔特分别于1982年及1984年提出的两个神经网络模型，一个是离散的，一个是连续的，但它们都属于反馈网络，即它们从输入层至输出层都有反馈存在。下图是一个单层反馈神经网络。null单层反馈神经网络 null反馈网络的稳定性：由于网络的输出要反复地作为输入送人网络中，这就使得网络的状态在不断地改变，因而就提出了网络的稳定性问题。 所谓一个网络是稳定的，是指从某一时刻开始，网络的状态不再改变。 设用X(t) 表示网络在时刻t 的状态，如果从 t＝0的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生,就称该网络是稳定的。即 ：nullHopfield 离散网络模型：每个神经元只有两种状态，可用1和-1，或者1和0表示，由连接权值wij所构成的矩阵是一个零对角的对称矩阵，即 ：null在该网络中，每当有信息进入输入层时，在输入层不做任何计算，直接将输入信息分布地传递给下一层各有关节点。 若用Xj(t)表示节点j在时刻t的状态，则该节点在下一时刻(即t+1)的状态由下式决定： wij为从节点i到节点j的连接权值；θ为节点j的阈值。 整个网络的状态用X(t)表示，它是由各节点的状态所构成的向量。 对于上图，若假设输出层只有两个节点，并用1和0分别表示每个节点的状态，则整个网络共有四种状态，分别为： 00，01，10，11 如果假设输出层有三个节点，则整个网络共有八种状态，每个状态是一个三位的二进制数，如图所示。null在该图中，立方体的每一个顶角代表一个网络状态。一般来说，如果在输出层有n个神经元，则网络就有2n个状态，它可以与一个n 维超立体的顶角相联系。null 当有一个输入向量输入到网络后，网络的迭代过程就不断地从一个项角转向另一个顶角，直至稳定于一个顶角为止。 如果网络的输入不完全或只有部分正确，则网络将稳定于所期望顶角附近的一个顶角那里。null霍普菲尔特模型的算法： (1)     设置互连权值：其中，xsi 为s 类样例的第i个分量，它可以为+1 或-1(0)，样例类别数为m，节点数为n null(2)     未知类别样本初始化 yi（0）=xi 1≤i≤n 其中小yi（t）为节点i在t时刻的输出，当t＝0时，yi(0)就是节点i的初始值， xi为输入样本的第i个分量。 （3）迭代直到收敛。 2.3.3 神经网络在医学专家系统中的应用 2.3.3 神经网络在医学专家系统中的应用 构造神经网络 一个用于医疗诊断的例子。 假设整个系统的简易诊断模型只有六种症状，两种疾病，三种冶疗。对网络的训练样例是选择一批合适的病人并从病历中采集如下信息： 症状：对每一症状只采集有、无及没有记录这三种信息。null疾病：对每一疾病也只采集有、无及没有记录这三种信息。 冶疗方案：对每一治疗方案只采集是否采用这两种信息。 其中，对“有”．“无”、“没有记录”分别用1、 -1，0 表示。这样对每一个病人就可以构成训练样例。 假设根据症状、疾病及冶疗方案间的因果关系，以及通过训练样例对网络的训练得到了如图所示的神经网络。 null医疗诊断系统连接模型 null其中x1，x2，…，x6为症状； x7,x8为疾病名； x9，x10,x11为治疗方案； xa，xb，xc是附加层，这是由于学习算法的需要而增加的； 此网络中x1，x2，…，x6是输人层；x9，x10，x11是输出层；两者之间以疾病名作为中间层。 null对图有关问题说明如下： (1)这是一个带有正负权值的前向网络，由wij可构成相应的学习矩阵。在该矩阵中当i≥j时，wij=0；当i公式

小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载