基于神经网络的信号处理技术_何青

电 力 情 报 掩2 礴4 · D 正O R M A n 0 N ON ELa 刀又IC PO认呢R I姚 基于神经网络的信号处理技术 华北电力大学 何 青 杜永柞 杜冬梅 摘 要 综述了在信号处理与神经网络基础上发展起来的一门新兴交叉学科 , 即基于神经网络的信号处理技 术 , 阐述了基于神经网络的信号处理的基本理论 、方法及其应用情况 。 关健词 信号处理 神经网络 应用 前 言 神经网络的研究可追溯到一个世纪前 (1890 年 )川 , 并经历了从初始发展期 (1890 一 19 69 ), 低 潮时期 ( 1夕的 一 1982 ) , 复 兴 时 期 (19 82 一 19 86) , 到发展高潮期 (19 86 一 今 )4 个阶段 . 目 前 , 神经 网络的研究已经在国内外广泛兴起 , 成 为各方面都十分重视的课 , 并投人了大量的人 力 、物力和财力 。 神经网络理论 、模型 、 实现及应 用等方面的研究正 日趋成熟 , 它的发展 已经到了 一个转折点 , 当前正处于大规模应用的前夜lllo 神经网络在信号处理领域中的应用极为引人 注 目[zl 。 专家们认为基于神经网络的 自动目标识 别、 声纳信号处理 、 语音处理 、 地震勘探信号处 理 、 图像处理以及心脑电信号处理等在信号处理 领域中最有发展前景 , 并能取得重大突破 。 在我 国 , 近年的国家自然科学基金重大 项 目也将基于 神经网络的智能信气处理作为重大研究内容予以 支持代 本文就基于神经网络信号处理的基本理论 、 方法及 目前的应用与发展状况作一综述 。 2 信号处理领域中的困境与突破点 在信号处理中 , 从信号获取 、 传输到信号 识 5 结 论 . (l) 粉煤灰的高技术利用 , 是国内外的研究热 点“但是同时也存在较大的困难 , 建议国家有关 部门对粉煤灰的高级利用研究予以扶持 。 (2 )粉煤灰的高技术利用)充分挖掘出粉煤灰 的潜在价值 , 不仅经济效益显著 , 而且可 以带动 整个粉煤灰综合利用工作向高层次深人开展 , 对 经济 、社会 、环保有重要意义扩 、 (3 了本文介绍的国内外粉煤灰高级利用方式 各有优缺点 , 有的还在进行着深人研究 , 但基本 上反映了当前国内外在此方面的研究概况 , 希望 对开展我国的粉煤灰高技术利用有参考意义 . 参 考 文 献 永野卓三 . 从煤灰中回收有价物的研究现状 . 煤炭 综合利用译丛 , 198火3天38 ~ 铭 J呵i K 切m a 比盯to . R “习w卿 of M七taJ O xk 如 丘。m 脚 户‘h . K o b日co 及曲即fo留 R e讼w , 1粥侧7): 53 一 57 N. T. Ba 卿, R , J. O恤P皿n . 们r , of oo a l spo 飞 as l改月 宜坦记垃由 加m 目坦恤na 确祀卿 by a c刁知c hin g. 拍u 触, : V . 飞加 e价级 of n o 切血允 add i由n on t址 ex- 饥州如n of al叻血山五 认血h h帅roc 句。比 a d吐. H ydj rO “记‘ 目谬留, 1绷 18): 337 一3, ‘方宏庄 . 粉煤灰酸溶法制取铝盐 . 电力环境保护 , 198 9 , 义3): 37 一40 余海荣 . 由粉煤灰制取铝铁混凝剂和白炭黑 . 电力 环境保护 , 1更趁汉2): 55 一 57 A n i1 K . 、企加旧tIa , et al . H吵 长淤伴m t眠 Q加而兑由n of C o a】As h in a FI 汕址印 R 刃:l , R “刀祀卿 of AI 斑面. 刀u m J I耐. En g . C he m . Pi乃a 岛s, 1邻2(2 l): 37 一 44 张明杰等 . 煤歼石综合利用的新途径 . 煤炭转化 , 1卿 , 1又3): 85 一 91 西村山冶 , 溶剂萃取法从工 业废物 中回收有伦金 属 . 湿法冶金 , 1卯4 (2) : 52 一 58 Izu 而 , Ts uboi 一 从燃烧煤飞灰 中回收镶和铆一 湿法 冶金 , 1卯双3): 42 一 47 (收稿 日期 :l 卯5一 12 一 0 1) 掩 2 何 青等 : 基于神经网络的信号处理技术 别 、变换 、存储 、分类 、建模、显示等采用的理论 、 方法 、 手段和系 统都与数字计算机的原理 、结构 和发展紧密相关 。 卜 自从 194 6 年诞生了第一台基于串行处理的 Vo n N 比众么n h 数字计算机以来 , 数字计算机也已 经历了从第一代电子管计算机 、 第二代晶体管计 算机 (19 59 . 一 1964 天第三 代集成电 路计算 机 (19 研 一 197 0 )、 第四代大规模集成电路计算机 (19 70 ~ 197 9 )到第 五 代并行逻辑推理计算机 (l 98 2 ~ 今 ) 的发展过程141 . 然而均未能突破vo n 卜犯u IT 叼叮n 的万能图灵机的程序式数字化串行 处理方式以及局域式地址存储特征。 而正是这种 特征使得数字计算机在许多领域的应用受到了限 制 , 致使许多领域的研究 陷人 了困境 121 。 在信号 处理领域 , 主要表现在下面两个方面 。 2. 1 最优处理与运算最的矛盾 在信号 、估计和滤波时常需要采用最优 处理 , 然而最优处理往往伴随着运算量的急剧增 加 , 导致它们在有在线要求或快速变化的环境 中 几乎达到了不可调 和 的程 度 , 即要达 到最优处 理 , 而完成其运算所需要的计算量常常大得令人 不能接受伙 2. 2 模式识别过程与实时性的矛盾 在信号的模式识别中 , 以特征提取为基础的 各种方法都面临着如何表示特征和提取特征的特 征数量等问题 , 因此经常带有很大的盲目性且效 率低 , 致使识别过程必须经历从特征提取 、数据 压缩到特征判断 3 个阶段 , 其运算量之天使得系 统不可能满足实时要求 。 神经网络的研究 , 正是在许多学科出现类似 于上述诸多矛盾和困境下兴起的 , 它打破了传统 的数字计算机高速度低智能 的最大局 限性 (数字 计算机计算速度可达毫微秒 (ns )级 , 而 图像识别 等需几分钟 , 甚至几十分钟f’]) , 形成了高速度高智 能的神经计算机。 神经网络是由大量处理单元广泛互联而成的 网络 , 是在现代神经生物学和认知科学对人类大 脑信息处理过程的研究成果 的基础上提 出来的 。 它具有大规模并行模拟处理 、 连续时间动力学和 网络全局作用等特点 , 将信息存储在神经元之间 的连接分布上 , 使存储区和操作区合二 为一 。 特 别是神经网络具有很强的学 习能力 、 鲁棒性和容 错能力 , 可以代替复杂耗时的传统算法 , 使信号处 理更接近人类的思维活动 , 从而可以实时地实现难 以用数字计算机实现的最优信号处理算法 。 神经 网络的分布式存储和并行处理 , 可以避开模式识 别中的建模与特征提取过程 , 消除由于模型不符 和特征选择木当带来的影响, 并实现实时识别 , 提高识别系统性能 。 ‘ 可以说 , 神经网络不仅是信号处理的工具 , 而 且是一种新的方法论 . 利用它可以研究出信号处 理的新理论 、新方法 。 - 3 信号处理中常用的神经 网_络基本 模型 目前已研究出的神经网络的模型十分众多 , 文献[5] 罗列了 4 2 种基本神经网络范式及其学习 算法 。 但在信号处理中常用的神经网络基本模型 主要有 4 种 , 即 Ho pfie kl 神经 网络 、 多层感知器 、 自组织神经网络和概率神经网络 。 H o p fi eld 神经网络是一种反馈式神经网络 , 可以用电路实现 。 网络构造 了一个单调下降且有 下界的能量函数 。 网络稳定时 , 能量函数取得极 小值 , 系统处于稳定点 。 因此 , 任何可转化 为该 能量 函数形式的信号处理中的优化 问题都可用 物p 6el d 网络求得最优解 , 且求解 时间仅为电路 时间常数(脚一ns 级)。 该网络及其改进型已广泛 应用于信号分解 、 自适应滤波 、谱估计及 A /D 变 换等信号处理领域 . 多层感知器是一种前馈映射型神经网络 , 由 输人层 、输出层和若干隐层组成 , 每层中包含若 干神经元 。 由于任何函数均可通过一个三层感知 器进行任意精度逼近 , 因此研究应用较多的为只 含一个隐层的三层感知器 。 网络权值则通过有导 师的样本训练学习算法确定 , 主要 学习算法为一 种基于最小二乘意义下的简单实用的反向误差传 播学习算法 , 即 BP 算法 。 自组织神经网络是一种具有 自学习功能的自 组织特征映射 图 , 它采用无 导师学 习算t法调整网 络连接权值 。 概率神经网络与统计信号处理密切相关 。 网 络由输人层犷 模式层 、 累加层和输出层组成 , 用 于 信号检测和模式分类可以得到 贝叶斯最优结 果 。 该网络非常适于实时处理 , 可以完成任意非 线性变换 , 并有强的容错性, 各层神经元数固定 , 电 力 情 报 1望场 利例易 于硬件实现‘ ·因此较广泛地一应用子非 _线性滤 波 、 模式分类 、 联想记忆及概率密度估计等场 合 。 - , 1 这一方面主要以 A R M A 模型理论为基础 , 甩神经网络来计算最大嫡意 义下 的谱估计 。 4 基于神经网络的信号处理技术 ; ‘一 利用神经网络技术进行信号处理 ,几乎遍及 了信号处理的各个分支. 下 .面简要论及几个主要 方面的研究及应用状况 。 一 - 一 一 4. 1 基于神经网络的信号诊波技术 信号滤波技术的理论和方法是信号处理的重 要研究内容 。 滤波是完成输人到输出的一种映 射 . 为了提高滤波性能常要求滤波器权系数随输 人信号发生变化 , 即实现所谓的 自适应滤波 , 另 外还要实现滤波器输人到输出的非线性映射 , 即 非线性滤彼 , 这都是 目前滤波理论与技术的难 点 , 之所以成为难点是因为实时计算滤波器的权 系数以及实时实现非线性滤波器的转换 , 难以用 传统方法得到实现 . 神经网络的高一度运算能力和 非线性变换特性 , 为上述 问题的解决找到了答 案 , 通常采用以下方法 . (”基于模型的最优滤波 这类滤波器的结构固定 , 利用神经网络的 目 的是实时计算滤波器的权系数 , 所获得 的最优滤 波性能是该类模型中最优 , 即最优权系数滤波。 (2) 全局最优滤波 这类滤波器的结构不确定 , 一般具有非线性 传递函数并随复杂的滤波背景而变化 , 即时变非 线性传递函数 。 · ‘ 杜 基于神经网络的谱估计技术 谱估计方法主要有古典的傅里叶变换法和现 代谱估计法两大类‘ 古典的傅里叶变换法来用快 速傅里叶变换算法戈FFT )可以实时实现 , 但存在 的问题是频率分辨力低、统计特性差 , 对低信嗓 比信号和短数据时间题尤为突出 . 现代谱估计法 以最大嫡谱估计为代表, 在最近加年得到了发展 和应用 。 该方法具有频率分辨力高 、 统计特性好 的优点 , 但伴随的问题是运算量大 , 难以实时实 现 . 一 - 为解决现代谱分析中存在的上述间题 , 目前 采用神经网络方法从两方面人手 , 都取得了较好 的进展 . (l)基于神经网络高度运算能力的高性能算法 如 :最大嫡一维 、 多维谱估计算法 , 最大嫡高阶谱 估计算法等 . - _ {2) 基于神经网络的谱估计新理论和方法 谱估计的一个主要目的在于估计信号中周期 成分的频率和振幅 , 最大嫡谱估计易出现谱分裂 和伪峰规象。 _目前最方有效的正弦参量估计方法 是基于特征分解的谱估计方法 , 即特征向量 法 , 但特征向量法运算量非常大 , 利用神经网络可 以 实现这种方法达到实时估计 。 - - 4 3 基于神经网络的系统辨识 系统辨识是要寻求一数学模型 , 使得该模型 的输出与被辨识系统的输出尽量接近 , 亦即从特 定的一类模型中选出一个与被控对象输人输出实 测数据拟合得最好的模型l0o 对线性时不变系统 已有许多有效的辨识方法 , 而 对非线性系统 , 尽 管也可建立一组非线性微分方 程 , 然而求解这些 方程却十分困难 。 利用神经网络的非线性映射能 力和高性能运算能力 , 可以对非线性系统进行辨 识 . 在非线性系统辨识中常用的神经网络有两 种 , 即用于非线性系统稳态特性的前向神经网络 (多层感知器 )以及用于非线性系统动态特性的 循环神经网络冈。 对应的辨识算法则有基于最速 下降法的批处理算法和递归算法 , 以及基于高斯 一 牛顿法的批处理算法箱递归算法 。 _ 4 .4 基于模糊神经网络的信号处理技术 人工神经网络的主要优点是不依赖于模型 , 但其缺点是网络的权值难以理解 , 无法对网络进 行追踪检查或推理。 反之模糊系统可以追踪其推 理过程 , 可 以理解模糊系统所编码的知识 , 并引 人启发性知识 , 但缺点是编码精度低 。 模糊系统 与神经网络都利用数值形式进行处理 , 二者并不 互柑排斥 , 可以结合起来 , 组成模糊神经网络 , 且 兼有两者优点 . 一 一 模糊神经网络引人启发性知识 , 并可追踪推 理过程 , 使网络中权值具有明显意义 , 还具有学 习功能 , 通过学习提高编码精度 。 目前 已应用于 控制 、模式分类 , 图象分割 、边沿检测 以及加速神 经网络学习速度等 。 基于模糊神经网络的信号处理技禾主要包括 自适应模糊神经网络、 模糊神经网络分类器 、 模 掩 2 何 青等 : 基于神经网络的信号处理技术 糊推理神经网络协作系统等等 。 模糊神经网络为 信号处理 , 特别是为智能信号处理提供了一条新 . 的有效途径 。 神经网络在信号处理领域中的应用除了上述 4 个方面外 , 还在方向估计 、信号检测 、 自适应信 号处理 以及信号重构等许多方面得到了应用 。 而 且 目前随着研究的深人 , 在包括上述诸方面 以及 其它方面的应用也屡见报道 . 参 考 文 献 5 神经网络的实现 神经网络的实现有两种途径 , 即通过硬件实 现的神经网络计算机和通过软件实现的神经网络 模拟系统 . 硬件实现的神经网络处理速度快 , 但受器件 物理因素限制 , 特别是受目前工艺条件限制 , 网 络规模不可能太大 . 例如 , 采用硅 V l另I神经 芯 片 , 目前只能做到几百个神经元 。 相反 , 软件实现的神经网络规模可以较大 , 但 处理速度较慢 . 因此软件实现的神经网络主要用 于决模拟 、 验证 、 研究新的模型及复 杂网络特性 等 . . 硬件实现的神经网络计算机是神经网络研究 的 目标 , 也是计算机技术发展 的未来目标 。 最终 实现名符其实的 ‘电脑 ” , 即包括左 、 右脑功能的 神经网络计算机 , 这是 “人类尖端科学的 ” 。 6 结束语 作为神经网络技术的一个重要应用方面 , 基 于神经网络的信号处理技术为解决信号处理领域 的难点找到了突破 口 , 目前这一领域的研究还在 向深人方向发展 。 另一方面 , 信号处理技术与许 多学科密切相关 , 因此也带来了这些相关学科的 突破性 发展 , 例如模式识别技术、 故障诊 断技 术 、专家系统技术等等卜期 。 尽管人工神经网络技术还存在许多局限性伙 但是 , 人工神经 网络是发展中的学科 , 其研究前 景是光明的 , 特别是人工神经网络的应用研究成 果不断呈现 , 更激发了人们的研究热情 。 一个应 用神经网络理论和方法解决传统计算机方法难以 解决的各种应用问题 , 即神经网络在包括信号处理 在 内的众多领域中的广泛应用 的新时代即将到 张立明 . 人工神经网络的模型及其应用 . 复旦大学 出版社 , l卯3 罗发龙等 ‘. 神经网络信号处理 . 电子工业出版社 , l卯3 国家自然科学基金会 , 机械学 (自然科学学科发展战 略调研报告) . 科学出版社 , 1哭抖 庄镇泉等 . 神经网络与神经计算机 . 科学出版社 , 1望洲 焦李成 . 神经网络计算 . 西安电子科技大学出版 - 社 , 1姚 一 徐宁寿 . 系统辨识技 术及其应用 : 机械工业 出版 社 , 19 86 胡守仁 . 神经网络应 用技术 . 国防科技大学 出版 社 , 1卿 _ - 包约翰 (美) . 自适应模式识别与神经网络 . 科学出 版社 , 1卯2 、 商国才 . 神经元与神经网络 . 电力情报 , l邺峨3X I妙I4) , 1卯邓) · - - - - 用人工神经网络进行扭振分析 (译 )、 电力悄报 , 一1隽娜 (3) 田盛丰等 . 人工智能原理与应用 . 北京理工大学出 版社 ,l哪 一 一 何明一 神经计算原理— 语言 ‘ 设什 ‘应用 .西安电子科技大学出版社 , 1塑池 _ - - 刘有才等 . 模糊专家系统原理与设计. 北京航空航 天大学出版社 , l姚一 二 _ 史忠植 . _神经计算 . 电子工业出‘版枕 丈华移 李孝安等 . 神经网络缘神经计算机导论 . 西北工亚 大学出版社 , 1州 _ ‘ : 、_ 杨叔子等 . 基于知识 的诊断推理 。 清华大学出版 社 , 1卯3 ‘ 阎平凡等 . 人工神经网络— 模型 、 分析与应用 ‘安徽教育出版社 , 1卯3 胡守仁等 . 神经网络导论 . 国防科技大学出版社 , 1卯3 钟秉林等 . 智能化故障诊断理论与方法的研究现状 和展望 . 东南大学学报 , 1卯义11) 刘延年等 . 神经网络在控制领域中的应用 . 东南大 学学报 , 1州(1) 4 口勺山.且目.且 (修改稿日期 : 199 5 一 n 一 03)