ENS_回声状态网络

null回声状态网络 Echo State Network回声状态网络 Echo State Network第八组第一章：绪论第一章：绪论人工神经网络（Artificial Neural Network）是由大量处理单元互联组成的非线性、自适应信息处理系统 。 人工神经网络按照性能分为两类： （1）静态神经网络 Static Neural Network （2）动态神经网络 Recurrent Neural Network 其中，动态神经网络又称为递归神经网络 （1）静态神经网络 （1）静态神经网络 静态神经网络由静态神经元组成 ，如下图： 其中，x1，x2，……，xn为神经元输入，ω1，ω2， …… ωn 为相应的权值，θi表示神经元的闽值，σ(…)是神经元的响应函数 。（1）静态神经网络（1）静态神经网络上述静态神经网络的数学关系式满足： 常规的前向神经网络、RBF神经网络、Chbeyshve神经网络等都属于静态神经网络。（2）动态神经网络（2）动态神经网络动态神经网络，又称递归神经网络，由动态神经元组成，是针对动态系统辨识研究中发展出来的一种神经网络。 结构如图所示： （2）动态神经网络（2）动态神经网络输入输出关系满足： Hopfied网络、Elman网络、状态空间网络是应用较为广泛的动态神经网络。网络内部存在带延迟因子的反馈连接，可以更好的反映动态系统的特性和演化行为。 其中，回声状态网络（Echo state network ESN）是一种新型的递归神经网络，回声状态网络在非线性系统辨识方面较传统的递归神经网络由较大的改进。 （3）小结：两种网络对比（3）小结：两种网络对比静态网络数学表达式： 动态网络数学表达式： 对比表达式，我们可以看出：动态网络内部存在带延迟因子的反馈连接，可以更好的反映动态系统的特性和演化行为 。而静态网络没有这种能力。第二章：回声状态网络第二章：回声状态网络回声状态状态网络作为一种新型的递归神经网络，无论是建模还是学习算法，都已经与传统的递归神经网络差别很大。 ESN网络特点： （1） 它的核心结构是一个随机生成、且保持不 变的储备池（Reservoir） （2）其输出权值是唯一需要调整的部分 （3）简单的线性回归就可完成网络的训练（1）ESN 直观印象（1）ESN 直观印象（2）ESN的结构和运行机理 （2）ESN的结构和运行机理 ESN网络的核心结构是一个“储备池”。所谓的储备池就是随机生成的、大规模的、稀疏连接（SD通常保持1%~5%连接 ）的递归结构。 注：SD是储备池中相互连接的神经元占总的神经元N的百分比 （2）ESN的结构和运行机理（2）ESN的结构和运行机理从结构上讲，ESN是一种特殊类型的递归神经网络，其基本思想:使用大规模随机连接的递归网络，取代经典神经网络中的中间层，从而简化网络的训练过程。 基于图2.1的结构，我们假设系统具有M个输入单元，N个内部处理单元（Processing Elements，PE），即N个内部神经元，同时具有L个输出单元。 （2）ESN的结构和运行机理（2）ESN的结构和运行机理那么输入单元u（n）内部状态x（n）以及输出单元y（n）在n时刻值分别为： （2）ESN的结构和运行机理（2）ESN的结构和运行机理则回声状态网络状态方程为：（2）ESN的结构和运行机理（2）ESN的结构和运行机理 （3）ESN的储备池 （3）ESN的储备池虽然有大量的研究是关于如何获得与具体问相关的“好”的储备池，但是并没有形成一个系统的方法，多数研究是从实验的角度进行的。这也是目前ESN方法遇到的最大的挑战。 ESN的最终性能是由储备池的各个参数决定的，下面首先简要介绍储备池的四个关键参数。（3）ESN的储备池重要参数简介（3）ESN的储备池重要参数简介（3.1）储备池内部连接权谱半径SR （3.2）储备池规模N （3.3）储备池输入单元尺度IS （3.4）储备池稀疏程度SD（3.1）储备池重要参数——SD和N（3.1）储备池重要参数——SD和N（3.2）储备池重要参数—SR（3.2）储备池重要参数—SR（3.2）储备池重要参数——SR（3.2）储备池重要参数——SR 我们确保上式子成立的目的：确保网络稳定。 因为只有上式子成立，才能确保网络状态和输入对网络的影响在经过足够长的时间后会消失。（3.3）储备池重要参数—IS（3.3）储备池重要参数—IS（3.3）储备池重要参数—IS（3.3）储备池重要参数—IS 关于IS的规则： 如果需要处理的任务的非线性越强，那么输人单元尺度越大。 该原则的本质是通过输入单元尺度IS，将输入变换到神经元激活函数funtion相应的范围。 注：神经元激活函数的不同输入范围，其非线性程度不同。 （4）ESN的储备池的建立（4）ESN的储备池的建立（4）ESN的储备池的建立（4）ESN的储备池的建立（5）ESN网络的训练（5）ESN网络的训练 ESN的训练过程就是根据给定的训练样本确定系数输出连接权矩阵Wout的过程。 为了简单起见，这里假定Wback为0，同时输入到输出以及输出到输出连接权也假定为0，回声状态网络的训练过程可以分为两个阶段：采样阶段和权值计算阶段。（5）ESN网络的训练（5）ESN网络的训练 采样阶段 （5）ESN网络的训练（5）ESN网络的训练 权值计算阶段 （5）ESN网络的训练（5）ESN网络的训练 权值计算阶段 第三章 回声状态网络的应用第三章 回声状态网络的应用回声状态网络主要应用领域： 时序预测（time series prediction） 逆模式（inverse modeling） 时序分类（on time clasification） 非线性控制（nonliner control） 图像处理（Image Processing ） 本章中我们着重介绍回声状态网络在图像边 缘检测中的应用。基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测实验过程： 基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测实验结果 基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测基于ESN和统计向量的边缘检测 本实验结论： 本章介绍了一种新的回声状态网络及其学习方法，构造了描述边缘点的特征向量并将其作为神经网络的输入，然后对神经网络进行训练，回声状态网络的收敛速度明显优于BP神经网络。将训练好的网络直接用于图像边缘检测。该方法无需确定阈值，在特征的选取上充分考虑了边缘和噪声的本质区别，具有优异的抗噪性能。 第四章 ESO的推广和优化 第四章 ESO的推广和优化 从上面的介绍，我们可以看出，ESN有很大规模的内部神经元。这使得： （1）ESN有良好的短期记忆能力，在混沌时间序列的预测任务中比传统的神经网络优良700倍。 （2）大规模的内部神经元也导致整个神经网络的训练样本非常多，使得训练困难，预测阶段因为网络巨大而引入不确定因素。4.1 PSO算法4.1 PSO算法 PSO（particle swarm optimization），是一种新兴的随机全局优化技术，它在ANN的训练中效果理想。 本章中，我们将PSO算法和ESN相结合，提出了PSO-ESN结构，在此结构中，将传统的ESN中通过求逆训练输出权重的方法替代为：利用PSO算法优化输出网络权值。 实验证明：PSO-ESN能在训练样本比较少的情况下提高预测精度。4.2 PSO算法简介4.2 PSO算法简介4.2 PSO算法简介4.2 PSO算法简介4.2 PSO算法具体描述4.2 PSO算法具体描述4.2 PSO算法4.2 PSO算法流程①给定训练数据集，并作化处理，初始化ESN，获得状态矩阵B和教师信号T； ②根据输出权重Wout，初始化粒子的个数和位置 ； ③根据粒子位置x和B、T，由BWout求出实际输出层数据，并与T比较求出误差函数； 4.2 PSO算法流程4.2 PSO算法流程④根据误差函数，评价每个粒子的使适应度；根据式子（5）和（6），更新每个粒子的位置x和飞行速度V。检验速度是否越界，若是，调整速度为算法的最大值； ⑤达到最大次数或误差达到设定值时候，学习过程结束，否则返回③继续迭代。 4.3 小结4.3 小结本章提出了一种基于PSO的回声状态网训练方法，与传统方法相比，PSO-ESN在训练阶段和预测阶段的性能都有较大幅度的提升，能够在非常少的样本情况下，对复杂的序列获的非常理想的预测精度，说明该算法有较大的发展前景。 但是，PSO-ESN也有固有的缺陷：由于演化粒子较多和迭代次数较多，使得模型训练时间较长。因此，如何提高PSO-ESN的训练速度是以后工作的重点。null 谢谢！