人工神经网络.03.感知机网络

null人工神经网络 (Artifical Neural Network)*人工神经网络 (Artifical Neural Network)张　凯 副教授武汉科技大学 计算机学院第三章 感知机网络*第三章 感知机网络1. 研究背景2. 学习规则3. 感知机结构4. 感知机学习规则学习规则学习规则学习规则 所谓学习规则就是修改神经网络的权值和偏置值的方法和过程（也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。 大致可以将其分为三大类：学习规则学习规则有监督学习（有导师学习） 提供一组能代网络行为的实例集合(训练集)。 增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在某些输入序列上的性能测度。 无监督学习（无导师学习） 学习仅根据网络的输入来学会将输入模式分类（聚类）。(输入,目标输出)感知机的结构感知机的结构感知机的结构感知机的结构首先考虑如下权值矩阵第i个行向量定义为权值矩阵W重写为感知机的结构感知机的结构传输函数传输函数由于hardlim传输函数的定义是传输函数传输函数所以，如果权值矩阵的第i个行向量与输入向量的内积大于等于-bi，该输出为1，否则输出为0。因此网络中的每个神经元将输入空间划分为两个区域。单个神经元感知机单个神经元感知机该网络的输出由下式所决定单个神经元感知机单个神经元感知机判定边界由那些使得净输入n为零的输入向量确定为了使该实例更加具体，现将权值和偏置值设置为那么判定边界是 定义了一条直线。为了画这条直线，必须找到该直线穿过轴p1和p2的点。单个神经元感知机工作原理单个神经元感知机工作原理为了确定边界的哪一边对应的输出为1，我们只需检测输入空间的一个点。对于输入p=[2 0]T，网络的输出为所以，对于判定边界右上方的区域网络输出为1。在图中用阴影表示该区域。另外，也可用图解的方法找到该网络相应的判定边界。必须注意的是该边界与1w垂直判定边界判定边界• 所有在判定边界上的点与权向量的内积相同。 • 这些点一定是在一条与权向量垂直的线上。 例子 – “与(AND)”例子 – “与(AND)”下面将运用上述一些概念设计出能够实现“与门”逻辑功能的感知机网络。与门的输入/目标对为该图依据输入向量的目标显示输入空间。目标值为1的输入向量用黑色圆圈 表示，而目标值为0的输入向量用空心圆圈 表示。●○例子 – “与(AND)”例子 – “与(AND)”“与”的解答（图解法）“与”的解答（图解法）•设计的第一步是选择一个判定边界。选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。 “与”的解答（图解法）“与”的解答（图解法）• 选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择： “与”的解答（图解法）“与”的解答（图解法）•最后，为了求解偏置值b，可以从判定边界上选取一个满足式子的点。如果选p=[1.5 0]T代入，有：“与”的解答（图解法）“与”的解答（图解法）现在可以通过选择上述的输入/目标对来对网络进行测试。如果选择p2作为网络的输入，则输出为感知机学习规则感知机学习规则为满足给定的训练样本： 设计一般性的方法来确定感知机的权和偏置值。 其中pq是网络的输入，tq是该输出相应的目标输出。在该测试问题中，输入/目标对为学习规则测试实例学习规则测试实例此问题可以用下图说明，图中目标输出为0的两个输入向量用空心圆圈○表示，目标输出为1的输入向量用黑色圆圈●表示。测试问题的网络测试问题的网络为了简化其学习规则的开发，这里首先采用一种没有偏置值的网络。于是网络只需调整两个参数w1,1和w1,2 判定边界由于在网络中去掉了偏置值，所以网络的判定边界必定穿过坐标轴的原点，如图所示。上图给出了这些判定边界相应的权值向量（记住权值向量与判定边界垂直判定边界初始化初始化对应的初始判定边界如图2.学习规则的构造 在训练开始时，为网络的参数赋一些初始值。这里仅需对其两个权值进行初始化。这里将1w的两个元素设置为如下两个随机生成的数:构造学习规则构造学习规则将p1送入网络： 错误分类 构造学习规则构造学习规则 将p1加到1w上，如果t=1,且a=0,则1wnew= 1wold+p将会得到新的1w值，新的 1w的指向偏向p1 构造学习规则构造学习规则错误分类将p2送入网络： 现在考虑另一个输入向量，并继续对权值进行调整。不断重复这一过程，直到所有输入向量被正确分类。构造学习规则构造学习规则将p2送入网络： 现在考虑另一个输入向量，并继续对权值进行调整。不断重复这一过程，直到所有输入向量被正确分类。 p2的目标值t2等于0，而该网络的世纪输出a是1。所以一个属于类0的向量被错误划分为类1了。 既然现在的目的是将1W从输入向量所指的方向移开，因此可以将式中的加法变为减法 如果t=0且a=1,则1wnew=1wold-p 构造学习规则构造学习规则 如果在测试问题中应用该规则，可求出构造学习规则构造学习规则将p3送入网络： p2的目标值t2等于0，而该网络的世纪输出a是1。所以一个属于类0的向量被错误划分为类1了。构造学习规则构造学习规则已有规则构造学习规则构造学习规则该感知机最终可以对上述三个输入向量进行正确的分类。构造学习规则构造学习规则三个模式现在都正确分类了 第三条规则：如果感知机能够正确工作，则不用改变权值向量：下面是涵盖了实际输出值和目标输出值所有可能组合的三条规则：统一的学习规则统一的学习规则可以将上述三条规则统一成一个表达式将上式中的p用偏置值的输入1替换，得到感知机的偏置值学习规则： 多神经元感知机多神经元感知机多神经元感知机给出的感知机规则，修改单神经元感知机的权值向量。我们能把这个规则按照如下方法推广到多神经元感知机。权值矩阵的第i行用下式进行修改：多神经元感知机矩阵表示： 收敛性证明收敛性证明证明是建立在下面三条假设基础上的： (1)问题的解存在； (2)仅在输入被错分时才改变权值； (3)输入向量的长度(模)的上界存在。 证明的思路： 若问题的解存在，则感知机学习规则必迭代有限次 就可收敛。 感知机的局限性感知机的局限性解决不了线性不可分问题 线性判定边界 感知机的局限性感知机的局限性异或(XOR) 逻辑运算为例解决不了线性不可分问题 null*