基于支持向量机的故障诊断

基于支持向量机的故障诊断 摘  要 在化工生产过程中，为了准确检测故障，减少机械的损失和人员的伤亡，提出了支持向量机算法。支持向量机是基于统计学理论的方法，具有较强的逼近能力和泛化能力。但是在最近几年中，一种基于主元分析的过程监控方法已在工业过程中得到应用，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。本文主要就这两种方法展开运用。在实际生产过程中，一方面，主元分析方法故障诊断能力有限；另一方面，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。 本文首先运用传统支持向量机算法对历史数据进行分类，分类结果表明该方法对于简单的数据比较容易区分，但是在数据复杂，可辨性较低的情况下，效果不明显。然后运用改进了的传统支持向量机算法对历史数据进行分类，即运用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。 本文对传统支持向量机算法和改进支持向量机算法进行了仿真比较，仿真结果体现了改进支持向量机算法的优越性；改进支持向量机算法提高了传统支持向量机算法分类的正确率。该种方法在实际工程中能够提高系统的诊断性能，减少不必要的损失。 关键词：支持向量机；故障诊断；主元分析方法；田纳西-伊斯曼过程； Fault Diagnosis Based on Support Vector Machine Abstract In order to detect faults accurately, reduce mechanical losses and casualties in the chemical production process, the algorithm of support vector machines was proposed. Based on the statistics theories, support vector machine is a method of approximation ability and generalization ability. Recently, a new method of process monitoring based on principal component analysis is applied in industrial production process. The statistical model built by principal component analysis method using historic data could detect unusual changes and faults happening in the process accurately. This research is on the application of these two methods. In the actual production process, principal component analysis has certain limitations in diagnosing fault. Besides, the vast volume of historical data was collected in both normal and unusual conditions. It is of great importance to make full use of the data to improve the capacity of fault diagnosis. Firstly, this paper classified the historical data by applying the traditional support vector machine algorithm. The results showed that traditional method works well on simple data sets. However, it showed insignificant effects under a complex and low-differentiability condition. In succession, an advanced approach was used to improve the traditional method, which was approached to enhance the ability of fault diagnosis by using principal component analysis to extract the main features of the data, then with the use of support vector machine which has the advantages of online diagnostic on process data to classify. In this paper, the traditional support vector machine algorithm and advanced support vector machine algorithm were compared in simulation process, the results indicates the superiority of the advanced method which improved the correctness of the traditional one on classification. It could also improve the diagnostic performance in the actual process and reduce unnecessary losses consequently. Key words: Support Vector Machine; Fault Diagnosis; Principal Component Analysis; Tennessee Eastman Process 目  录 论文总页数：49页 1 引言    1 1.1 课题背景    1 1.2 故障诊断技术及其发展    1 1.3 国内外研究现状    2 1.4 本课题研究的意义    4 1.5 本文主要内容    4 2 机器学习理论与方法    5 2.1 机器学习简述    5 2.1.1机器学习的主要学习问题    5 2.1.2机器学习的经验风险最小化原则与推广能力    6 2.2 统计学习理论    7 2.2.1统计学习理论发展历史    7 2.2.2统计学习理论的核心内容    8 2.3 支持向量机(SVM)理论    10 2.3.1支持向量机简述    10 2.3.2支持向量机算法    10 2.4 主元分析方法(PCA)理论    13 2.4.1主元分析方法简述    13 2.4.2 主元分析方法降维    14 3 机器学习的故障诊断方法    15 3.1 专家系统    15 3.2 人工神经网络    15 3.3 基于支持向量机的故障诊断方法    16 3.3.1 支持向量机的求解    16 3.3.2核函数    17 3.3.3支持向量机故障诊断方法    18 4 基于PCA支持向量机的故障诊断方法    22 4.1 基于PCA支持向量机的故障诊断    22 4.2 数据预处理    23 4.3 求特征值与特征向量    24 4.4 选取主成分    24 4.5 新建故障特征向量    24 4.6 基于支持向量机的分类    24 5 仿真研究    25 5.1 田纳西-伊斯曼过程(Tennessee Eastman Process)    25 5.1.1 田纳西-伊斯曼过程简述    25 5.1.2 过程工艺流程图    26 5.1.3 过程变量    27 5.1.4 过程故障    28 5.2 本文所用数据故障分析    29 5.2.1 TE数据提取    29 5.2.2故障1的个案研究    30 5.2.3故障5的个案研究    32 5.2.4故障11的个案研究    32 5.3 基于支持向量机故障诊断    33 5.3.1 数据预处理    33 5.3.2 支持向量机(SVM)对故障诊断    34 5.3.3 仿真结果    34 5.4 基于PCA支持向量机故障诊断    35 5.4.1 TE数据提取    35 5.4.2 数据预处理    35 5.4.3 主元分析方法(PCA)特征提取    36 5.4.4 支持向量机(SVM)的分类    36 5.4.5 仿真结果    36 5.5 实验结果对比分析    38 5.5.1 实验结果对比    38 5.5.2 实验结果分析    38 结    论    1 参考文献    2 致    谢    4 声    明    5 1 引言 1.1 课题背景 随着现代化工业大生产的不断发展和科学技术的进步，为了最大限度提高生产效率和产品质量，作为主要生产工具的机械设备不断朝着大型化、复杂化、高速化、连续化和自动化的方向发展。设备的生产效率越来越高，机械结构也日趋复杂，设备中不同部分之间的相互联系也更加紧密。一旦出现故障，可能引起整个流程的中断，造成巨大的经济损失，还可能导致灾难性的人员伤亡和严重的社会影响，使得人们对设备运行的可靠性、安全性提出了越来越高的要求。[1]于是，如何确保机械设备的安全可靠运行，就成为现代设备运行维护和管理的一大课题。 故障诊断技术经过近几十年的研究，取得了长足的发展。毋庸置疑，基于知识的智能诊断方法是一种很有前途的方法，受到了普遍的重视，它的智能化技术和丰富的领域专家知识给用户提供了一个简单易用而又可靠的系统。学习室一切只能系统最根本的特征，机器学习是人工智能最具知识特征和最前沿的研究领域之一。[2] 当前，虽然基于主元分析的过程监控方法已在工业过程中得到应用。一方面，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生，然而其故障诊断能力有限。另一方面，在实际生产过程中，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。本课题将对历史数据进行分类，利用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。 1.2 故障诊断技术及其发展 故障诊断学是20世纪60年代发展起来的一门新学科。随着现代科学技术水平的日益提高，尤其是计算机科学和控制科学的飞速发展，现代设备的结构日益复杂，功能越来越完善，规模也越来越庞大，人们对于设备的安全性、可靠性和有效性的要求也越来越高，因此机械设备的故障诊断技术愈来愈受到人们的重视。 故障诊断技术是由于军事和航天的需要而发展起来的，而后又渗透到社会生产的各个领域[3]。上个世纪80年代，世界范围内发生的一系列重大事故对于设备诊断技术的发展提出了迫切的要求。例如我国1986年山西大同电厂和1988年山西秦岭电厂先后发生200MW汽轮发电机组由于运行失稳导致机组烈振、轴系断裂的严重断轴毁机事件，造成了巨大的经济损失。在这种情况下，系统的安全性就显得极其重要。提高系统可靠性和安全性的方法有多种，其中一个最重要的方法就是采用故障诊断技术。正是在这种市场迫切需求的激励下，促进了故障诊断技术的迅猛发展[3.4]。 在故障诊断理论及应用方面，美、日以及一些西欧国家走在了世界的前列，统领着故障诊断的走向。在这方面开发最早的是美国，比较成功地应用在航天、航空、军事及机械等工业中;日本在钢铁、化工、铁路等民用工业部门的诊断技术方面发展也很快，并具有很高的技术水平;丹麦在振动监测诊断和声发射监测仪表方面有较高的水平。在我国，故障诊断技术的研究和应用起步较晚，1986年我国召开了第一次机械设备诊断技术国际会议。在工艺控制的诊断和控制中，国内已广泛地开展机械加工工艺质量的监视、诊断和控制，以及控制系统、电网输配等能源系统的故障诊断等。石油装备的故障诊断与状态监测方面的应用研究开展得比较晚，但也取得了一些有价值的研究成果，并在生产实际中收到了较好的经济效益，这方面的研究正在不断的深入[4-6]。 故障诊断技术先后经历了三个阶段：第一阶段是依靠人的感官来获取故障特征信息的原始诊断阶段；第二阶段是基于传感器与计算机技术的诊断阶段；第三阶段是智能诊断阶段。在这一阶段，新的理论和方法不断涌现，为解决复杂系统的故障诊断问题提供了新的方法和思路，诸如：小波分析、遗传算法、模糊理论、神经网络、容错控制、模式识别、人工智能等，故障诊断技术发展迅速。诊断模式从以建立模型和信息处理为主要手段转变为以知识应用、知识处理和知识推理为基础，并由此产生新的学科分支--基于知识的诊断推理。在上世纪70年代末，故障诊断专家系统开始出现并发展。80年代中期，推理技术，知识获取、自然语言理解都成了研究的主流，不确定性推理、非单调推理、定性推理、机器学习等技术开始应用于故障诊断领域。从故障诊断的发展情况来看，以知识推理为理论基础和手段的专家系统已成为故障诊断的一个研究焦点。[7-9] 1.3 国内外研究现状 虽然SVM是一种较新的机器学习算法，但随着时间的推移，越来越多的应用研究被见诸报道。支持向量机针对小情况所表现出来的优良性能引起了众多故障诊断领域研究人员的注意。Poyhonen等对SVM在电机故障诊断方面进行了应用研究；Worden等运用SVM进行球轴承故障分类[10]。Samanta分别用轴承和齿轮故障诊断比较神经网络和SVM的性能,并采用遗传算法优化各自的参数[11] 。Chu等运用SVM进行故障检测和运行模式识别[12] 。Chiang等分别用Fisher判别式和SVM 进行故障诊断,发现SVM的误分率较低[13]。Shin等使用SVM对机电设备早期故障进行检测[14]。Poyhonen等使用SVM对电机进行故障诊断,取得较好的效果[15] 。Thukaram 等比较了神经网络和SVM在识别故障方面的差异[11] 。Cramp ton等人发现当数据含有噪声时,用SVM检测故障比其它同类方法更有效[11]。Jemwa、Ribeiro等人用SVM进行生产过程故障和品质检测[11]。Hu等人结合经验模态分解、模糊特征提取和SVM,获得较高的故障诊断精度和速度[11]。Hu等基于Demp ster - Shafer理论提出一种SVM多类算法,针对不同的信息源进行训练,分类性和鲁棒性更好[11]。Ren用SVM对往复式压缩机阀进行故障诊断和检测, 发现其适应性和可靠性很好[16] 。Zhang等结合粗糙集和SVM,其推广性和识别率比常规SVM高出很多[11]。肖健华对应用于故障诊断的SVM 进行了理论研究,针对样本不对称情况进行了算法改进,并在齿轮故障诊断中进行了应用研究[17] ;胡寿松将SVM用于非线性系统故障诊断[18];马笑潇对SVM在智能故障诊断中的应用进行了详细的探讨[19];祝海龙在其博士学位论文中对统计学习理论在不同工程领域的应用进行了研究[20],涉及信号消噪、机械故障诊断和人脸检测,其中故障诊断方面研究了汽车发动机振动故障的自动诊断;张周锁[21]等对基于支持向量机的机械故障诊断方法进行了研究;杨云[22]在电子装备系统故障智能诊断中使用了SVM 算法; 朱凌云[11]等从数据挖掘的角度,运用SVM分类算法,进行自动缺陷识别的方法研究。王国鹏等结合模糊理论和支持向量机用于汽轮机故障诊断[11]。毛继佩等用多类支持向量机对汽轮发电机组进行故障诊断[11]。翟永杰等也用多类支持向量机对汽轮发电机组进行故障诊断[11] 。李凌均[23-25]等证明SVM在具有少样本的故障诊断场合具有很强的适应性，SVM方法在少样本情况下的分类效果由于BP神经网络分类方法。他们还提出了一种利用支持向量机对机械系统故障进行分类的新方法,适合于机械故障诊断中的多故障分类。胡桥等提出了一种基于经验模式分解模糊特征提取的支持向量机混合诊断模型,应用于汽轮发电机组的三种工作状态的识别,有效地改善了分类的准确性;他们还提出一种基于改进灰色系统- 支持向量机- 神经模糊系统的智能混合预测模型,这是一种针对机电设备状态趋势预测比较有前途的方法[26] 。段江涛和张周锁等分别研究了支持向量机多值分类器,利用齿轮箱和汽轮发电机组的振动信号进行验证,达到满意的效果,可以满足在线诊断的要求[27]。张周锁等利用固定迭代步长来实现核函数一个参数的优化,实现了二分类故障分类器的参数优化,采用在高压缸轴瓦座上直接采集的振动信号作为数据样本,应用于汽轮发电机组的蒸汽激励和轴瓦松动故障的分类,提高了支持向量机故障分类器的分类能力[28]。彭文季等提出了一种利用小波包分析提取水电机组的振动故障特征和基于支持向量机的水电机组振动故障诊断方法[11]。王胜春分别将模糊域和粗糙集与支持向量机相结合,取得很好的故障分类效果[29]。贾嵘等提出基于最小二乘支持向量机回归的Hilbert-Huang变换，应用于水轮发电机组故障诊断中，结果表明，该方法有效抑制了端点效应，实现了故障的准确识别[30]。 除了在故障诊断领域，在控制、建模、预测、综合评价、知识获取等领域，SVM也得到很多应用，说明其应用非常广泛，是一项很有发展前途的分类方法 [11]。 支持向量机的应用研究虽然已经取得了阶段性研究成果，但还有一些问题需要进一步深入研究：(1)如何选择合适的核函数及核函数参数。支持向量机的性能依赖核函数以及核函数中的参数的选择，在这方面，目前尚没有完整的理论依据。(2)如何选择合适的多类算法以适应多故障分类器的需要。支持向量机是针对两类问题而言的，对于多类问题，目前还处于算法研究阶段。(3)还需要进一步研究改进支持向量机的训练速度慢的算法，以适应设备故障诊断的实时性要求。(4)将其它基于知识的故障诊断方法，如模糊诊断方法，神经网络诊断方法等，与支持向量机融合到一起的集成故障诊断有待进一步研究。(5)支持向量机在故障诊断领域的应用还有待继续推广。相信支持向量机在故障诊断方面将有很好的应用前景[31]。 1.4 本课题研究的意义 从20世纪80年代开始，随着人工智能技术的飞速发展，智能化已成为故障诊断技术的主要发展方向。一方面故障智能诊断具有传统诊断方法无可比拟的优点；另一方面，复杂设备的故障诊断在很大程度上需要依赖专家的经验知识。智能诊断技术由从专家诊断发展到机器学习，而作为机器学习的一个发展阶段和代表算法，人工神经网络(ANN)在获取十几年里获得了长足的发展，和较多的研究和应用。但是对于现实中的故障诊断问题，其故障样本的数目通常是有限的。在有限的样本情况下，往往训练效果很好的神经网络又可能表现出很差的泛化能力(Generalization)，即出现过学习问题。而在统计学习理论基础上发展起来的一种新的通用学习方法—支持向量机(Support Vector Machine或者SVM)，是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优解。这一点特别适合于故障诊断这种小样本情况的实际问题解决。与人工神经网络相比，支持向量机不仅结构简单，而且泛化能力明显提高。从推广能力的角度来看，支持向量机更适合于故障诊断这种实际工程问题的解决。除了机器学习泛化能力的问题，在实际生产过程中，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。 1.5 本文主要内容 本文通过对支持向量机的理论学习，使用MATLAB软件构造算法。接着，采用TE(Tennessee Eastman)模型数据作为测试对象。利用主元分析方法提取各类数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，进行仿真训练和测试。结合测试好的结果，进行评价分析，并提出相应的改进建议及。论文的主要内容如下: 第一章概述了课题的背景知识，并对故障诊断和支持向量机的研究现状进行了综述。提出了本课题的研究目的及意义。 第二章回顾了一些机器学习的理论知识，包括了统计学习理论、支持向量机理论以及主元分析方法基本理论。总结了机器学习和统计理论的主要问题，为后面的学习奠定基础。 第三章介绍了机器学习的故障诊断方法，主要分析了支持向量机算法。对其分类构造的问题进行了阐述。 第四章考虑变量之间具有较强的相关性，从而影响支持向量机的建模质量，使其分类精度变差，所以对传统的支持向量机算法进行了改进，引入了主元分析方法的特征提取优势，结合支持向量机的分类特点，详细叙述了改进方法的实现步骤和实现原理。 第五章对前两章提出的方法，应用于故障诊断中。利用田纳西-伊斯曼过程数据作为仿真对象，对其进行了仿真。结果表明改进后的方法较传统的支持向量机算法有较大优越性。 最后对本文的工作进行了总结，对需要继续做的工作进行了展望。 2 机器学习理论与方法 2.1 机器学习简述 2.1.1机器学习的主要学习问题 机器学习的基本问题可以用图1.1来描述： 图2-1 机器学习的一般框架 对训练样本进行学习的模型可以包括三个部分，分别为:数据发生器(G)，从固定但未知的概率分布函数中产生随机样本;训练器(S)，对于每一个输入矢量，根据条件概率分布函数来返回一个值y;学习机器(LM)，实现一定的函数集为，，其中是函数的广义参数集合。 机器学习就是从给定的函数集，选择处能够最好地逼近训练器响应的函数，其目的可以形式化地表示为:根据l个独立同分布的观测样本，在一组函数中求一个最优函数式对训练器的响应进行估计，使期望风险最小:         (2-1) 其中是未知的，对于不同类型的机器学习问题有不同形式的损失函数。 而机器学习涉及到的两个主要学习问题分别是模式识别和回归函数估计。 对于模式识别问题，令监控器输出y只取两类情况，这时的预测函数称作判别函数。考虑下面的损失函数:         (2-2) 此时期望风险(2-1)就是分类误差的概率。因此，模式识别问题就成为：在概率分布未知而数据已知的条件下，寻找一个最小化分类误差的函数。 对于回归函数估计问题，监控器输出y为实数值，令，，是实数集合，其中包含回归函数         (2-3)                                                            如果，那么定义损失函数         (2-4) 因此，回归函数估计问题就成为：在概率分布未知而数据已知的条件下，寻找一个最小化风险泛函(2-1)的问题。 2.1.2机器学习的经验风险最小化原则与推广能力 对于未知的概率分布最小化风险函数式(2-1)，而样本信息却有限可用，这导致(2-1)式定义的期望风险是无法直接计算和最小化。因此，传统的学习方法用经验风险泛函替换式(2-1)         (2-5) 即所谓的经验风险最小化(ERM)准则。ERM原则具有一般性，许多传统的方法，如最小二乘方法、最大似然法都符合ERM原则。对分类问题的损失函数 (2-2)式，经验风险就是训练样本错误率;对于回归估计问题的损失函数 (2-4)式，经验风险最小化准则就是最小二乘方法。 从期望风险最小化到经验风险最小化是一个基于直观的做法，因此存在学习的一致性问题: (1) 和都是的函数，当样本无穷大时将在概率意义上趋近于，不能保证的最小值尺能够趋近于的最小值； (2)即使上述条件在样本无穷大时得到保证，也无法认定在这些条件下，得到的经验风险最小化方法在样本数有限时仍能得到好的结果。 最初，人们总是把注意力放在如何使最小化，但不久就发现训练误差小并不能导致学习具有好的预测效果，过小的训练误差反而导致推广能力下降，这就是训练神经网络经常碰到的过学习问题。研究过学习现象，发现这里既有学习样本不充分的因素，也有学习机器不合理的因素。主要是试图用一个十分复杂的模型去拟合有限的样本，从而导致了推广能力的丧失，因此经验风险最小化原则会导致过学习现象。 人们将机器学习对未来输出进行正确预测的能力称为推广性(边肇棋等，2000)，因此机器学习需要同时最小化经验风险和推广性。传统方法的选择学习模型及算法也是一个调整推广性的过程，由于缺乏理论指导，选择比较适合的模型只能依赖先验知识和经验，造成传统方法对使用者‘技巧’的过分依赖，这就是有限样本下学习机器的复杂性与推广性之间的矛盾 [32] 。 2.2 统计学习理论 虽然机器学习在各个方面问题较复杂，但是对统计学习领域的方法的借鉴，可以构造出新的方法，并解决一系列的问题。这里首先介绍统计学习的理论知识。 2.2.1统计学习理论发展历史 受神经生理学领域感知器思想的启发，F.Rosenblatt(1956)将其作为一个学习机器模型，并以计算机程序的形式验证了该模型的推广性，标志着学习过程的研究进入数学方法的时代。为了从范围较宽的集合中估计概率密度，必须采用某种新的推理方法，Tikhonov(1963)提出关于解决不适定问题的正则化技术。随后Chaitin(1966)提出算法复杂度的理论，开创了推理问题的信息论方法。针对指示函数集，1968年确Vapnik和Chervonenkis提出统计学习的核心概念—VC嫡和VC维，引申这些概念Vapnik提出了泛函空间的大数定理，将大数定理与学习过程的联系在一起，得到了关于收敛速度的非渐进界的主要结论。1974年，Vapnik与Chervonenkis提出结构风险最小化归纳原则，从而完成了模式识别的学习理论。总结非参数问题方面的研究理论，Vapnik与Stefanyuk(1978)又将算法建立在解决不适定问题的做法上，提出了解决此类问题的一般途径，从而奠定了非参数统计学的基础，Vapnik等人的研究初步解决了机器学习的两个难题:学习过程收敛速度的界和控制学习过程的推广能力。 上述研究都处于统计学习的理论探索阶段，一直没有得到充分的重视。直到90年代中期Vapnik提出支持向量机后，统计学习理论才开始受到重视，有限样本下的学习机器理论研究逐渐成熟起来，形成了较完善的统计学理论(Statistical Learning Theory，SLT)。与传统统计学相比，统计学理论的推理规则不仅考虑了收敛的渐进性要求，而且追求在有限样本下得到最优结果。 2.2.2统计学习理论的核心内容 统计学习理论为提高学习的推广能力，在VC维(Vapnik Cherovnenkis)的理论基础上，提出结构风险最小化标准，因此与此相关的一个核心概念是VC维。 (1)VC维 为了研究学习过程的一致性收敛速度和推广性，统计学习理论提出衡量函数集的VC维指标。在模式识别方法中，VC维的直观定义是:对于一个指示函数集，如果存在h个样本能够被函数集里的函数按照所有可能的种形式分开，则称函数集能够把h个样本打散;函数集的VC维就是能够打散的最大样本数目h。如果对任意的样本数，总有函数能打散它们，则函数集的VC维就是无穷大。有界实值函数的VC维可以通过使用闭值将函数转化成指示函数来定义。 VC维是统计学习理论的核心概念，它反映了函数集的学习能力，是函数集学习性能的最好描述指标。一般而言，VC维越大，学习机器的学习能力就越复。但遗憾的是，目前还没有关于计算任意函数集的VC维的通用方法，只有对一些特殊函数集的VC维可以准确知道，例如n维实数空间中线性分类器和线性实函数的VC维是n十1，而对于一些比较复杂的学习机器(如神经网络)，其VC维除了与函数集的选择有关外，通常也受学习算法等的影响。因此要确定其VC维将更加困难。对于给定的学习函数集，如何用理论或实验的方法计算其VC维是当前统计学习理论研究中有待解决的一个问题。 (2)推广性的界 推广能力是指学习机不仅对训练样本有良好的分类能力，而且对于新的识别数据分类其正确率也很高，即学习机的实际风险和经验风险都小。因此，对于各种类型的函数集，统计学习理论系统地研究了经验风险和实际风险之间的关系，也即推广性的界(张学工，2000)。它是分析学习机器的性能和发展新的学习算法的重要基础。根据统计学习理论中关于函数集推广性界的结论，对于分类器，实际风险和经验风险之间以至少以概率满足如下关系式:         (2-6) 其中h为VC维，l为样本数。从结论可以看出学习机器的实际风险由两部分组成:训练样本的经验风险和置信范围，它不仅同置信水平有关，而且与学习机器的VC维和训练样本数有关。可以把 (2-6)简写为:         (2-7) 从(2-7)式可以看出，在训练样本有限的情况下，学习机器的VC维越高，则置信范围就越大，导致实际风险与经验风险之间的差就越大。因此在学习机器时，不但要使学习机器的经验风险最小，还要使VC维尽量小，以缩小置信范围，从而达到使期望风险最小的目的，也即对未来样本有较好的推广性。 (3)结构风险最小化 传统机器学习方法普遍采用经验风险最小化原则，选择机器学习模型和算法的过程就是优化置信范围的过程，如果选择了适合现有样本的学习模型，就可以取得比较好的效果。然而当样本数目有限时，易出现过学习和欠学习问题：学习过程中学习机对样本的经验风险很小，而实际应用时学习机对新样本的分类能力很差，称之为过学习；当经验风险和置信范围都很大时，称之为欠学习。因此由于缺乏理论上的知道，传统机器学习方法只能依靠先验信息和经验来选择模型和算法，造成了神经网络等学习方法对使用者“技巧”的过分依赖。 v 图2-2 SRM准则示意图 通过结构风险最小化来选取比较好的VC维，统计学习理论提出了一种新的策略。如图2.2所示，把函数集分解为一个函数子集序列(或叫子集结构)         (2-8) 在这个嵌套的假设空间中，满足下面的性质：         (2-9) 在每个S子集中寻找最小经验风险，并折衷考虑各子集间的经验风险和置信范围，从而使实际风险最小，这种思想称作有序风险最小化或结构风险最小化，简称SRM原则，结构风险最小化原则为我们提供了一种不同于经验风险最小化的更科学的机器学习设计原则。 在式 (2-7)的两个求和项之间进行折衷，一般有两种思路: l)在每个子集中求经验风险最小化，然后选择使经验风险最小与置信范围之和最小的子集，当子集数目很大，这种方法不可行; 2)设计函数集的某种结构使每个子集中都能取得最小的经验风险，然后选择置信范围最小的子集，则这个子集中使经验风险最小的函数就是最优函数，支持向量机就是采用这种方法。 2.3 支持向量机(SVM)理论 2.3.1支持向量机简述 支持向量机SVM ( Support Vector Machines)是由Vanpik领导的AT&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术, SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善,在解决模式识别问题中往往趋于保守,且数学上比较 艰涩,因此这些研究一直没有得到充的重视。直到90年代,一个较完善的理论体系—统计学习理论 ( Statistical Learning Theory,简称SLT) 的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难,比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等,使得SVM 迅速发展和完善,在解决小样本 、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其它机器学习问题中,从此迅速的发展起来。 SVM的主要思想可以概括为两点: (1) 它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能; (2) 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。 2.3.2支持向量机算法 支持向量机方法是从线性可分情况下的最优分类面[35]提出的。考虑图2-3所的二维两类线性可分情况，图中实心点和空心点分别表示两类的训练样本， 图2-3最优分类面 H为把两类没有错误地分开的分类线，H1，H 2分别为过各类样本中离分类线最近的点且平行于分类线的直线，H1和H 2之间的距离叫做两类的分类空隙或分类间隔。所谓最优分类线就是要求分类线不但能将两类无错误地分开，而且要使两类的分类空隙最大。前者是保证经验风险最小(为0)，而通过后面的讨论可以看到，使分类空隙最大实际上就是使推广性的界中的置信范围最小，从而使真实风险最小。推广到高维空间，最优分类线就成为最优分类面。 考虑由训练集         (2-10) 其中，，给出的线性可分问题，称超平面         (2-11) 的表达式为关于训练集的规范形式，或称超平面         (2-12) 为关于训练集的规范超平面，如果     ，     (2-13)     ，    (2-14) 设由训练集给出的分类问题是线性可分的，则任意正确分划训练集的超平面存在着关于训练集的唯一的规范形式，或者说，它可以用规范超平面表示，且表示它的规范超平面是唯一的。 设线性可分样本集为         (2-15) 其中，，是类别标号。空间中线性判别函数的一般形式为         (2-16) 分类面方程为         (2-17) 用如下形式描述与样本间隔为的分类超平面：     ，     (2-18)         (2-19) 对于式(2-10),Vapnik给出了一个关于间隔分类超平面VC维上界的定理：如果向量x属于一个半径为R的球中，那么间隔分类超平面集合的VC维h有下面的界：         (2-20) 这样，支持向量机首先保证了一个小的经验风险(在训练样本可分时就是0)，并通过选择间隔最大的超平面的方式控制了函数集的VC维，这正是结构最小化原则所要求的。 将SVM最优化问题中的分类超平面做以下归一化:令=1，而和可以按比例缩放。离超平面最近的点(支持向量)满足：     ，若y=1     (2-21)     ，若y=-1     (2-22) 支持向量到超平面的距离为。我们将判别函数进行归一化，使两类所有样本都满足。即使离分类面最近的样本的，这样分类间隔就等于，因此使间隔最大等价于使最小；而要求分类线对所有样本正确分类，就是要求它满足     ，     (2-23) 因此，满足上述条件且使最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面H1,H2上的训练样本就是式(3-14)中使等号成立的那些样本，它们叫做支持向量。因为它们支撑了最优分类面，如图2-3中在直线H1、H2用圆圈标出的点所示。 这是一个不等式约束下二次函数极值问题，存在唯一解。且根据约束问题解的必要条件(Karush-Kuhn-Tucker, KKT)条件，这个优化问题的解须满足     ，     (2-24) 因此，对多数样本将为零，取值不为零的，i对应于使式(3-14)等号成立的样本即支持向量，他们通常只是全体样本中的很少一部分。 求解上述问题后得到的最优分类函数是         (2-25) 由于非支持向量对应的均为0，因此，式中的求和实际上只对支持向量进行。 最优分类面是在线性可分的前提下讨论的，在近似线性可分的情况下，就是某些训练样本不能满足式(2-14)的条件，因此可以在条件中增加一个松弛项，变成：         (2-26) 的约束下求下列函数的极小值：         (2-27) 其中C为某个指定的常数，它实际上其控制对错分样本惩罚的程度的作用实现在错分样本的比例与算法复杂度之间的折衷。 2.4 主元分析方法(PCA)理论 支持向量机方法运用较为广泛，同时，另一种基于主元分析的过程监控方法已在工业过程中得到广泛应用。主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。 2.4.1主元分析方法简述 主元分析方法(PCA,Principal Component Analysis)是一种利用统计原理建立描述系统的低维模型的方法，经过几年的研究和发展，成功地应用于过程的分析和监测[38]。作为监控工业过程的一种降维工具，PCA的应用在学术界和工业界都进行了研究。上个世纪DuPont和其它公司就已经开展了PCA对工厂数据的应用，其大部分成果也已在会议论文集和期刊杂志中发表。 PCA是一种线性降维技术，是按获取数据的变化度为最优的。它确定了一系列相互正交的向量，称为负荷向量(loading vectors)，按照在负荷向量方向的方差大小来排序。给定一训练集，它有n个观测值(observations)，m个过程变量(variables)，则负荷向量可通过奇异值分解(Singular Value Decomposition，SVD)来计算：         (2-28) 其中和都是酉矩阵(Unitary Matrices),矩阵包含其沿主对角线递减的()。负荷向量是矩阵中的正交的列向量，训练集沿矩阵第列的投影的方差等于[39]。求解式(2-28)等价于求解样本协方差矩阵的特征值分解：         (2-29) 这里对角矩阵包含幅值递减的非负实特征值()，并且第个特征值等于第个奇异值的平方(即)。 为了最优地获取数据的变化值，同时最小化随机噪声对PCA表示的影响，与个最大奇异值相对应的负荷向量被典型地保留。选择负荷矩阵的列，使其与前个奇异值相关联的负荷向量相对应，则观测到低位空间的投影就包含在得分矩阵中：         (2-30) 并且，返回到维观测空间的投影为：         (2-31) 和的差就是残差矩阵:         (2-32) 这个残差矩阵获取了用与个最小奇异值相关联的负荷向量所张成的观测空间的变化量。由和张成的子空间分别称为得分空间和残差空间。包含在矩阵中的子空间具有小的性噪比，并且把这个空间从中去除就会产生一个更精确的过程表示，。 2.4.2 主元分析方法降维 通常认为，并且在某些假设下也可以从理论上正式，PCA空间中与较大奇异值相对应的部分描述了过程中所产生的大部分系统的或状态的变化，与较小奇异值对应的PCA空间的那部分则描述了随机噪声。通过适当确定在PCA模型中保留的负荷向量的数目，系统变化就可以从随机变化中解耦，从而可以把两种类型的变化分类监控。有几种技术可以确定要降阶的值。例如百分比变化量测试、Scree检验、平行分析法以及PRESS统计。Ku、Storer和Georgakis推荐了平行分析法，因为在他们的经历中，这种方法在各方面表现得最好。进一步解释，平行分析法通过把方差轮廓线(Variance Profile)与通过假设独立观测变量获得的轮廓线进行比较来确定维数。降阶有两个轮廓线的交叉点确定。这种方法确保在得分空间中获得显着的相关性，而且，由于它直观且容易自动实施，所以特别具有吸引力。 3 机器学习的故障诊断方法 机器学习是研究如何使用计算机模拟或实现人类学习活动的人工智能研究领域。而故障诊断机器学习的目的是使状态检测与故障诊断知识库的只是规则得以动态扩充。从数据资源中获取知识和发现知识。[44] 3.1 专家系统 专家系统(expert system)是人工智能应用研究最活跃和最广泛的课题之一。自从1965年第一个专家系统DENDRAL在美国斯坦福大学问世以来，经过20年的研究开发，到80年代中期，各种专家系统已遍布各个专业领域，取得很大的成功。   专家系统是一个智能计算机程序系统，其内部含有大量的某个领域专家水平的知识与经验，能够利用人类专家的知识和解决问题的方法来处理该领域问题。也就是说，专家系统是一个具有大量的专门知识与经验的程序系统，它应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题，简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。[43] 但是应用专家系统又有着巨大的困难。一方面，对于那些独特的运行操作和那些新的设备，可能找不到相关的专家；另一方面，即使找到专家，他们也不一定理解或者可以解释自己是如何解决这些问题的。对于每个大型的系统来说，从头开发一个专家系统是耗时又耗力的事情。 3.2 人工神经网络 人工神经网络是另一种机器学习的方法。它是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。神经网络是一种运算模型[1]，由大量的节点(或称‘神经元’，或‘单元’)和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(weight)，这相当于人工神经网络的记忆。 网络的输出则依网络的连接方式，权重值和激励函数的不同而不通。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 它的构筑理念是受到生物(人或其它动物)神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法(Learning Method)得以优化,所以人工神经网络也是数学统计学方法的一种实际应用,通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间,另一方面在人工智能学的人工感知领域,我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法,人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力),这种方法比起正式的逻辑学推理演算更具有优势。 3.3 基于支持向量机的故障诊断方法 正如上文所述，训练神经网络经常碰到的问题就是过学习问题。而支持向量机可比解决高维度问题、非线性问题、小样本情况下的机器学习问题，避免神经网络结构选择和局部极小点问题，也可以提高返还性能。因此下文着重介绍支持向量机方法。 3.3.1 支持向量机的求解 假定训练         (3-1) 其中，，可以被一个超平面         (3-2) 没有错误的分开，则与两类样本点距离最大的分类超平面会获得最佳的推广能力。最优超平面将由离它最近的少数样本点(称为支持向量)决定,而与其它样本无关。于是,这个最优化问题的数学提法为[35]：         (3-3)     s.t ,     (3-4) 按照最优化理论中二次规划的解法,可把该问题转化为Wolfe对偶问题来求解。构造Lagrange函数:         (3-5) 式中：其中为Lagrange乘子。 根据最优化原理有：         (3-6)         (3-7) 求解式(4-15)和式(4-16)，得：         (3-8)         (3-9) 将两式代回Lagrange函数中,消去和b,经运算得到原最优化问题的Wolfe对偶问题:         (3-10)     s.t     (3-11) 其解是原最优化问题的整体最优解。可采用优化算法解出;参数b可根据KKT条件求出：         (3-12) 于是最优超平面为：         (3-13) 需要注意的是只有支持向量所对应的Lagrange乘子才不是0. 对于线性不可分的分类问题,可以将输入x通过非线性函数映射到高维特征空间H,在此空间再进行线性分类。如果用内积代替最优分类面中的点积，就相当于把原特征空间变换为新的特征空间，此时的优化问题成为：         (3-13)     s.t. (3-14) 最终结果为,以核函数代替式(3-13)中的。即：         (3-15) 3.3.2核函数 现实世界的训练样本一般是线性不可分的。在线性不可分的情况下,SVM的思想是通过非线性变换将输入空间变换到一个高维特征空间，在这个新空间中求取最优线性分类面。为了避免在高维特征空间复杂的非线性运算,SVM采用了核函数方法,它把高维空间的内积运算转换为原始空间中的核函数的计算。采用了核函数后,不但避免了“维数灾难”,并且没有必要知道非线性变换函数的形式,而且可以使得分类在维数甚至是无穷大的特征空间进行，因此核成为SVM方法的关键所在。目前常用的几种核函数主要有： 线性核函数： 多项式核函数： 高斯径向基核函数： Sigmoid 核函数： 3.3.3支持向量机故障诊断方法 运用支持向量机的故障诊断方法实际上就是运用支持向量机方法来做分类处理。基于支持向量机的故障诊断流程如图3-1 图3-1 基于SVM的过程监控图 标准支持向量机在分类问题上只考虑了二值分类的简单情况，而实际需要解决的一般是多类问题，因此将SVM应用于多类问题对挖掘SVM的应用潜力将具有非常重要的意义。目前，利用SVM处理多类分类问题的研究者们已提出一些卓有成效的方法，可以归纳为两大类： 第一大类是直接的方法。该方法是以Weston在1998年提出的多类分类算法为代表,只使用一个SVM判别函数实现多分类输出。这个算法在二类SVM理论的基础上,直接在目标函数上进行改进,重新构造多类分类模型。通过对新模型的目标函数进行优化,“一次性”地实现多类分类。这种算法的目标函数十分复杂,变量数目过多,计算复杂性也非常高,分类精度不理想。 第二大类是组合的方法。这一大类方法是通过组合多个二值分类器来实现对多类分类器的构造。常见的构造方法是:一对一方法和一对多方法,以及在这二 种方法基础上的改进算法:纠错编码支持向量机、层次支持向量机、有向无环图支持向量机和二叉树支持向量机等[36] 。 1) 一对多方法[11] 对于k类多类分类问题, 一对多方法将第m 类的训练样本作为一类,将除去m 类之外的其余所有类别的训练样本作为另外一大类,构造一个二值分类器,并把这个分类器命名为序号为m 的分类器,依此类推,一共需构造k个二值分类器。 在对测试数据样本的识别时, 采用“比较法”。将测试样本x分别输入给k个两值分类器,可得k个输出结果,比较这k个输出结果, 求出最大者, 则输出为最大的分类器的序号即为测试样本x所属的类别号。这种多分类算法的主要缺点是: 1)在构造每个二值分类器时,所有k类的训练样本都要参加运算;在对测试样本进行测试时, 所有k个二值分类器都对测试样本分类后,才能判定测试样本的类别, 因此, 当训练样本数和类别数较大时,训练和测试分类的速度较慢;2)当测试样本不属于k类中的任何一类, 而属于其它类别时,会出现分类错误。因为按照“比较法”, k个分类器中总有某一个的输出最大, 这样就会将本来不属于这k类的测试样本误判为属于其中的一类。 2) 一对一方法[11] 这种方法在k类中把每个类别样本和其它类别样本之间一对一地构建二值分类器, 每个二值分类器只用相关的二类训练样本进行训练, 这样一共可以构造出k ( k - 1) /2个二值分类器。在对测试样本进行识别时, 采用“投票法”。将测试样本x输入给由k类中的第m 类样本和第n类样本构造的二值分类器。如果输出结果判定x 属于第m类,则给第m 类加一票;如果输出结果判定x属于第n类,则给第n类加一票。当所有k ( k - 1) /2个二值分类器对测试样本x分类后, k类中的哪一类得票最多,就判定测试样本x属于这一类。 这种多分类算法的主要缺点是: 1)二值分类器的数目k ( k - 1) /2随着类别数k的增加而增加, 这样需要很大的运算量,导致在训练和测试分类时速度很慢。2 ) 在测试分类中, 当某两类所得的票数相同时,无法判定属于哪一类, 可能造成分类错误。3)当测试样本不属于k类中的任何一类,而属于其它类别时,会出现分类错误。因为按照“投票法”, k 类中总有某一类得票最多,这样就会将本来不属于k类中的测试样本误分为其中的一类。 3) 有向无环图法[11] 这种算法在训练阶段和一对一方法一样, 但是在识别阶段将所有k ( k - 1) /2个二值分类器组成一种两向有向无环图的节点, k个类别是底层的“叶”, 如图5所示。当对一个测试样本进行分类时首先从顶层的二值分类器开始,根据顶部的二值分类器分类结果,确定采用下一层的左节点还是右节点的二值分类器继续分类,直到底层的某个“叶”为止, 该“叶”就是测试样本所属的类别。虽然这种算法的训练阶段和一对一算法一样,但是在分类阶段只用了k - 1个分类器, 分类速度快于一对一算法。 图3-1 有向无环多类算法 4) 二叉树多类分类算法[11] 这种算法把k类中的k - 1类看作一大类,把余下的一类看作另外一大类,建立一个二值分类器。然后再在那k - 1类中, 取出( k - 1) - 1类来看作一大类,把那k - 1类中余下的一类看作另外一大类,建立一个二值分类器。依此类推,直到对最后两类建立一个二值分类器,如图6所示。对于k类问题,一共需要建造k - 1个二值分类器,比前面三种算法都少,重复训练样本量也少,训练和识别速度可以提高。 图3-2 二叉树多类分类算法 5) 纠错编码多类分类算法[11] 纠错编码方法可以把多类问题转化为多个二类分类问题。对于k 类分类问题, 给每个类别赋予一个长度为L 的二进制编码,形成一个k行L 列的码本(如表1所示k = 5, L = 10的情况) 。对于其中第i列( i = 1,…, L )码字为“0”的所有类别被看作一类, 码字为“1”的所有类别被看作另外一类, 因此每列对应一个二类分类问题, k类分类问题就转化为L 个二类分类问题。对于一个测试样本, L 个分类器的分类结果构成一个码字s, k个编码中与s汉明距离最小的码字所代表的类别就是这个测试样本所属类别。有效的编码必须满足二个条件: (1)编码矩阵的行之间互不相关; (2)编码矩阵的列之间互不相关且不互补。这种算法的训练速度较一对多算法有明显的改进, 有的文献把一对多算法作为纠错编码多类分类算法的一种特例。 表3-1　采用10bit编码,用于5类分类问题的码本 类 别 码字 SVM1 SVM2 SVM3 SVM4 SVM5 SVM6 SVM7 SVM8 SVM9 SVM10 1 0 1 1 1 1 1 1 1 1 1 2 1 0 0 0 1 1 1 1 1 1 3 1 1 1 1 0 0 0 0 1 1 4 1 0 1 1 0 0 1 1 0 0 5 0 1 0 1 0 1 0 1 0 1 6) 基于层次结构的多类分类算法[11] 这种方法首先将所有的类别分成二个子类, 再将子类进一步分成二个次子类, 如此循环下去, 直到最后得到多个单独的类别为止, 如图4-3 所示。有的文献把这种算法和二叉树分类算法通称为“基于决策树或者分级聚类的多类支持向量机”。这种方法具有理想的训练速度,同时分类时仅需要非常少量的分类器,在分类速度上具有明显的势。但是, 如果一个属于第一个子类的样本,在开始时没有正确地被划分到第一个子类,那么接下来的次子类分类器无法识别这个样本,就没有机会再被分到第一个子类了。同样, 原本不属于第一个子类的样本,如果被划分到第一个子类,以后也就无法再被划分到别的子类了。这样每一层上的误差会逐渐自上而下累积起来,影响这种方法的分类精度。 图3-3 基于层次结构的多类分类算法 综合以上的几种方法优缺点，本文采用一对一算法。 4 基于PCA支持向量机的故障诊断方法 虽然支持向量机方法有较强的泛化能力，但是样本数据的复杂性还是会导致直接用支持向量机方法故障诊断不理想。由此，本文引入主元分析方法。构成基于PCA的支持向量机故障诊断方法。 4.1 基于PCA支持向量机的故障诊断 虽然基于主元分析方法的故障诊断技术在故障较多的时候作用甚小，但是值得肯定的是，其为统计学中分析数据的一种有效办法。正如前述，主元分析方法的目的是在数据空间中找到一组向量尽可能的描述数据的方差。通过一个特殊的向量矩阵，将数据从高维向量映射到一个低维空间，同时保存了数据的主要信息，从而使数据更易于处理。这里就利用主元分析方法的降维作用来对需要故障诊断的数据进行简化处理，以便支持向量机更好的分类。利用PCA支持向量机方法的步骤如下： 图4-1 基于PCA-SVM过程监控框架 在实际的过程监控中，如图4-1，一般是先采集数据，然后对其进行消噪和校正。其目的是剔除一些明显的测量误差，同时使测量数据满足一些基本的关系式(如能量平衡、质量平衡)，确保每一传感器的测量数据都是有效的。这一步骤能检测出一些量值大且较明显的故障，同时也能增强后续步骤的故障检测能力。通过主元分析对每一时刻的测量数据进行提取特征，再利用支持向量机对故障进行识别分类。当SVM识别出故障源之后，由监督控制层产生相应的动作来做出对故障数据的改变，以使过程恢复到正常的工况。 下面分别叙述各个步骤。 4.2 数据预处理 由于输入数据中有奇异样本的出现，即相对于其它输入样本特别大或特别小的样本矢量。奇异样本数据存在所引起的训练时间增加，并可能引起程序运行无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，应当先进行数据标准化处理。 标准化处理就是将数据样本归一到单位方差和零均值，以保证训练速度加快，同时避免训练过程中的无法收敛现象。标准化处理可以通过以下算法得到：         (4-1) 其中，是需要被标准化的原始数据，是原始数据的平均值(mean)，是原始数据的标准差(standard deviation)。和计算公式如下：         (4-2)         (4-3)                值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算。在原始分数低于平均值时则为负数，反之则为正数。[37] 4.3 求特征值与特征向量 根据样本相关系数矩阵，求解样本协方差矩阵的特征值分解：         (4-4) 这里对角矩阵包含幅值递减的非负实特征值()，并且第个特征值等于第个奇异值的平方(即)。 4.4 选取主成分 选取主成分是通过计算主成分的方差贡献率来求得的。选择前面k个最大特征值对应的主特征向量构成n维空间中的k维特征子空间，一般取得这k个主成分的累积贡献率达到85%以上，就说明对原数据保留了足够多的特征。 4.5 新建故障特征向量 根据公式         (4-5) 计算出所需要的故障特征主成分，组成新的数据集，从而消除了原始数据集属性之间的相关性，得到了更能反映本质的特征。因此，通过主元分析方法处理降低了数据集的维度，减少了运算量，同时也为后面的支持向量机分类提高效率做了铺垫工作。 4.6 基于支持向量机的分类 按照第三章所述的故障诊断方法，对经过主元分析的新数据集进行故障分类处理，而首先就是要对支持向量机进行模型的选择。 在SVM中，核函数类别选择、核函数参数选择、二次规划参数选择统称为模型选择。学习机器对未来输出进行正确预测的能力称作推广能力。对于SVM而言，要使其具有好的推广能力关键的问题就是选择恰当的SVM模型，也即选择恰当的参数。目前常用的估计方法是k-折交叉验证，它首先把所有l个样本随机地分成k个互不相交的子集，即k折,每个折的大小大致相等，共进行k次训练和测试，即对i =1,2,...,k进行k次迭代，第i次迭代的做法是，选择为测试集，其余的和集为训练集，算法根据训练集求出决策函数后，即可对测试集进行测试。记其中错分类的样本点数个数为，k次迭代完成后，便得到了，可以推想所有k次迭代中的错误分类数，和总样本点数l之比可以作为该算法错误率的一个估计，该值称为k-折交叉验证误差。k-折交叉验证法就是选择使k-折交叉验证误差最小的参数为模型的最终参数。但实践证明，这个方法有时候并不能获取最佳的SVM模型。一种比较可行的方法是:对每一种核用某种方法选出其对应的最佳核参数，然后比较哪种核最好。 现在的论文中，绝大多数SVM分类器采用了高斯径向基(RBF)核函数。Vapnik等人在研究中发现，不同的核函数对SVM性能的影响不大，反而核函数的参数，如γ，和惩罚因子C，是影响SVM性能的关键因素，因此选择合适的核函数，如参数γ，和惩罚因子C，对学习机器的性能至关重要。实际应用表明高斯径向基核具有良好的性能和很强的SVM学习能力，本文也将主要采用高斯径向基核。高斯径向基核函数的确定意味着要确定的参数主要有两类:C和γ。其中C控制着使间隔最大且错误率最小的折衷，用统计学理论的术语来说，就是在确定的特征空间中调节学习机的置信范围和经验风险的比例；而γ主要影响样本数据在高维特征空间中分布的复杂程度。因此怎样确定参数C，γ是决定分类器好坏的关键，而要想获得推广能力良好的SVM分类器，首先要选择合适的γ将数据映射到合适的特征空间，然后针对该确定的特征空间寻找合适的C以使学习机的置信范围和经验风险具有最佳比例。目前关于如何确定SVM参数的文章相当少，其实SVM作为一种新兴的学习机器，确实存在一些有待完善的地方，其参数选取就是急待完善的问题之一。由于没有理论上的指导，传统的参数选取都是通过反复的试验，人工选取出令人满意的解[31]。 接下来按照传统的支持向量机分类方法分类，如前章所述。 5 仿真研究 在仿真研究部分，主要对上文所描述的支持向量机方法和PCA支持向量机算法通过田纳西-伊斯曼过程仿真。 5.1 田纳西-伊斯曼过程(Tennessee Eastman Process) 5.1.1 田纳西-伊斯曼过程简述 本论文的过程监控方法是根据在田纳西-伊斯曼过程(Tennessee Eastman Process, TEP)的过程仿真中采集的数据进行测试的。TEP作为比较各种方法的数据源，已在过程监控领域得到了广泛的应用。 TEP是由伊斯曼化学品公司的Downs和Vogel根据该公司一个实际的化工联合反应过程开发的，其目的是为评价过程控制和监控方法提供一个现实的工业过程。测试过程是基于一个真实工业过程的仿真，其中的成分、动力学、运行条件等因为专利权的问题都作了修改。过程包括五个主要单元：反应器、冷凝器、压缩机、分离器和汽提塔；而且，它包括八种成分：A、B、C、D、E、F、G和H。 5.1.2 过程工艺流程图 图5-1 TEP过程工艺流程图 图5-1是该工业设备的工艺流程图。气体成分A、C、D和E以及惰性组分B被喂入反应器，液态产物G和H在反应器中形成。反应器的各种反应是：         (5-1) 物质F是反应的副产品。反应是不可逆、放热的，并且对反应物浓度来说，近似为一阶的。反应速度是温度的Arrhenius函数，其中生成G的反应比生成H的反应有更高的活化能，导致对温度具有更高的灵敏度。 反应器的产品流通过冷凝器冷却，然后送入到汽/液分离器。从分离器出来的蒸汽通过压缩机再循环送入反应器。为了防止过程中惰性组分和反应副产品的积聚，必须排放一部分再循环流。来自分离器的冷凝成分(流10)被泵送到汽提塔。流4用于汽提流10中的剩余反应物，这些剩余反应物通过流5与在循环流结合。从汽提塔底部出来的产品G和H被送到下游过程。 5.1.3 过程变量 该过程包括41个测量变量和12个控制变量。控制变量在表5-1中列出。表5-2中列出了22个测量变量，从XMEAS(1)-XMEAS(22)，它们每3min被采样一次。表5-3中描述了19个成分测量值，从XMEAS(23)-XMEAS(41)。成分测量值是从流6、9和11中测出来的。流6和9的采样间隔和时间延迟都是6min；而流11为15min。所有的过程测量值都包含高斯噪声。 表5-1控制变量 变量 描述 变量 描述 XMV(1) D进料量(流2) XMV(7) 分离器罐液流量(流10) XMV(2) E进料量(流3) XMV(8) 汽提器液体产品流量(流11) XMV(3) A进料量(流1) XMV(9) 汽提器水流阀 XMV(4) 总进料量(流4) XMV(10) 反应器冷却水流量 XMV(5) 压缩机再循环阀 XMV(11) 冷凝器冷却水流量 XMV(6) 排放阀(流9) XMV(12) 搅拌速度 表5-2 过程测量(3min采样间隔) 变量 描述 单位 XEMAS(1) XMEAS(2) A进料(流1) D进料(流2) km3/h kg/h XMEAS(3) E进料(流3) kg/h XMEAS(4) 总进料(流4) km3/h XMEAS(5) 再循环流量(流8) km3/h XMEAS(6) 反应器进料速度(流6) km3/h XMEAS(7) 反应器压力 kPa(表值) XMEAS(8) 反应器等级 % XMEAS(9) 反应器温度 OC XMEAS(10) 排放速度(流9) km3/h XMEAS(11) 产品分离器温度 OC XMEAS(12) 产品分离器液位 % XMEAS(13) 产品分离器压力 kPa(表值) XMEAS(14) 产品分离器塔底低流量(流10) m3/h XMEAS(15) 汽提器等级 % XMEAS(16) 汽提器压力 kPa(表值) XMEAS(17) 汽提器塔底流量(流11) m3/h XMEAS(18) 汽提器温度 OC XMEAS(19) 汽提器流量 kg/h XMEAS(20) 压缩机功率 kW XMEAS(21) 反应器冷却水出口温度 OC XMEAS(22) 分离器冷却水出口温度 OC 表5-3 成分测量 变量 描述 流 采样间隔/min XMEAS(23) 成分A 6 6 XMEAS(24) 成分B 6 6 XMEAS(25) 成分C 6 6 XMEAS(26) 成分D 6 6 XMEAS(27) 成分E 6 6 XMEAS(28) 成分F 6 6 XMEAS(29) 成分A 9 6 XMEAS(30) 成分B 9 6 XMEAS(31) 成分C 9 6 XMEAS(32) 成分D 9 6 XMEAS(33) 成分E 9 6 XMEAS(34) 成分F 9 6 XMEAS(35) 成分G 9 6 XMEAS(36) 成分H 9 6 XMEAS(37) 成分D 11 15 XMEAS(38) 成分E 11 15 XMEAS(39) 成分F 11 15 XMEAS(40) 成分G 11 15 XMEAS(41) 成分H 11 15 5.1.4 过程故障 TEP问题的过程仿真包括21个预设定的故障(见表5-4)。这些故障中，16个是已知的，5个是未知的。故障1-7与过程变量的阶跃变化有关，如，冷水入口温度或者进料成分的变化。故障8-12与一些过程变量的可变性增大有关。故障13是反应动力学中的缓慢漂移，故障14、15和21是与粘滞阀有关的。[34] 表5-4 过程故障 变量 描述 类型 IDV(1) A/C进料比率，B成分不变(流4) 阶跃 IDV(2) B成分，A/C进料比率不变(流4) 阶跃 IDV(3) D的进料温度(流2) 阶跃 IDV(4) 反应器冷却水的入口温度 阶跃 IDV(5) 冷凝器冷却水的入口温度 阶跃 IDV(6) A进料损失(流1) 阶跃 IDV(7) C存在压力损失-可用性降低(流4) 阶跃 IDV(8) A、B、C进料成分(流4) 随机变量 IDV(9) D的进料温度(流2) 随机变量 IDV(10) C的进料温度(流2) 随机变量 IDV(11) 反应器冷却水的入口温度 随机变量 IDV(12) 冷凝器冷却水的入口温度 随机变量 IDV(13) 反应动态 慢偏移 IDV(14) 反应器冷却水阀门 粘住 IDV(15) 冷凝器冷却水阀门 粘住 IDV(16) 未知 IDV(17) 未知 IDV(18) 未知 IDV(19) 未知 IDV(20) 未知 IDV(21) 流4的阀门固定在稳态位置 恒定位置 5.2 本文所用数据故障分析 上文介绍了田纳西-伊斯曼过程，本文实验采用其中的故障数据1、5、11，下文对其分别进行了研究。 5.2.1 TE数据提取 训练集和测试集中的数据包含了所有的控制变量和测量变量(见表5-1～5-3)，除了反应器的搅拌器的搅动速度，总共有m=52个观测变量(不包括搅动速度是因为没有对它进行控制)。在某一特定时刻的观测向量表示为：         (5-2) 观测值使用1s的积分步长来仿真的，这不会产生任何的数值不准确度。虽然一些观测值是连续采样的，且其它变量包含时间延迟，但当采集的数据用于计算多变量过程的量度时，对每一个变量用相同的采样间隔则会简化实现过程。用3min的采样间隔来采集训练集和测试集的仿真数据。 训练集中的数据由22次不同的仿真运行数据构成，其中在每一次运行之间，都改变随机过程的随机种子(random seed)。一次仿真运行(故障0)是在没有故障的情况下发生的；另一次仿真运行(故障21)是通过把流4的阀门位置固定在稳态的位置不变而发生的；而其它20次仿真运行(故障1～20)中的每一个都是在不同故障下发生的，每次运行对应着表5-4的一个故障。每次运行的仿真时间都是25h。仿真开始时没有故障情况，故障是在仿真时间1h的时候引入的。对于每一次运行所产生的观测数据总数是n=500，但只有480个观测数据是在引入故障后采集的，即只有480个观测值实际用于构建过程监控的量度。 测试集中的数据也是由22次不同的仿真运行数据构成，其中在每一次运行之间，都改变随机过程的随机种子(random seed)。这些仿真运行直接对应着训练集的运行(故障0～21)。每次运行的仿真时间都是48h。仿真在无故障情况下开始，故障在仿真时间8h的时候引入。每一次运行所产生的观测数据总数n=960 [34] 。 我们这里选用故障0(即无故障状态)，故障1，故障5，故障11。 5.2.2故障1的个案研究 当故障1发生时，在流4中的A/C进料比引起了一个阶跃变化。这致使在流4中C进料增加，而A进料减少。这又导致在循环流5中A进料的减少，并且控制回路作出反应使流1中的A进料增加(见图5-2)。随着时间的推移，这两种作用相抵销，这导致在足够长的时间之后流6中A进料的成分称为常数(见图5-3)。 进入反应器的流6的流速和成分的变化引起反应器液位的变化(见图5-1)，这会通过串级控制回路影响流4中的流速(见图5-4)。流4的流速最后停留在一个低于正常运行状态值的稳态之上。 由于反应物A和C的比例发生变化，与物质平衡有关的变量(例如液位、压力、成分)的分配关系也会跟着改变。因为超过半数的监控变量明显地偏离了它们的正常运行特性，这种故障可以很容易地被检测出来。对故障1表现拙劣的过程监控统计量，很可能对其他故障的表现也不好。 图5-2 XMEAS(1)对故障0和1的比较 图5-3 XMEAS(23)对故障0和1的比较 图5-4 XMEAS(4)对故障0和1的比较 5.2.3故障5的个案研究 故障5包括冷凝器冷却水入口温度的一个阶跃变化(见图5-1)。这个故障的显著影响是引起冷凝器冷却水流量的阶跃变化(见图5-5)。当故障发生时，从冷凝器出口到汽/液分离器的流速也增加，这导致汽/液分离器的温度增加，并且分离器冷却水出口温度也是如此(见图5-6)。控制回路能够补偿这个变化，并使分离器中的温度返回到设置点。达到稳定状态所需的时间大约是10h。至于剩下的50个被监测变量，32个变量具有相似的过渡过程，大约在10h之后达到稳定。检测和诊断这样的一个故障不是一件很难的工作。   图5-5 XMV(11)对故障0和5的比较 图5-6 XMEAS(22)对故障0和5的比较 5.2.4故障11的个案研究 类似故障5，故障11引起反应器冷却水入口温度的故障。这种故障是一种随机变化。如图5-7所示，该故障引起了反应器冷却水流速的很大震荡，这又使反应器的温度产生波动(见图5-8)。其他的50个变量能够保持在设定点附近，并且与在正常运行状态下表现类似。 图5-7 XMV(10)对于故障0和11的比较 图5-8 XMEAS(9)对故障0和11的比较 5.3 基于支持向量机故障诊断 现在采用SVM对田纳西-伊斯特过程(TEP)模型数据进行训练和测试，如图3-1所示。 提取数据为30个变量，300个观测数据，对其进行标准化之后，用SVM分类。 5.3.1 数据预处理 为了消除原变量的量纲不同、数值差异大带来的影响，需进行标准化处理。如前所述，标准化处理就是将数据样本归一到单位方差和零均值，以保证训练速度加快，同时避免训练过程中的无法收敛现象。 新标准化的矩阵为。 5.3.2 支持向量机(SVM)对故障诊断 如前所述，SVM最初是针对两分类问题提出的，在解决故障诊断等多类分类问题时，需要组合多个二类分类器来构造SVM多类分类器。本实验工业故障共有K个，(K取2，3，4)需要设计K(K-1)/2个两类分类器， 用于多故障分开。取径向基核函数，其中为训练输入，为核函数宽度。在MATLAB7.0环境下，设计SVM多类分类器，并使用K组新的训练样本对其进行训练，通过交叉验证得到相关参数值：,. 5.3.3 仿真结果 实验1：运用SVM法对故障0和故障1进行二分类 实验2：运用SVM法对故障0、故障1和故障5进行三分类 实验3：运用SVM法对故障0、故障1、故障5和故障11进行四分类 实验的结果见表5-5和图5-9至图5-11。 表5-5 实验对照参数结果表 lab gam sig2 results 实验1 186.6728 9.3474 0.5000 实验2 0.2244 0.0484 0.3333 实验3 0.0489 0.6885 0.2417 图5-9 实验1结果图 图5-10 实验2结果图 图5-11 实验3结果图 5.4 基于PCA支持向量机故障诊断 5.4.1 TE数据提取 如前实验，同样，这里也选用故障0(即无故障状态)，故障1，故障5，故障11。 5.4.2 数据预处理 如前实验，做相同的数据标准化。以保证训练速度加快，同时避免训练过程中的无法收敛现象。 新标准化的矩阵为。 5.4.3 主元分析方法(PCA)特征提取 根据上文主元分析方法特征提取的介绍，相关步骤如下： 第一步：对预处理后的相关矩阵，求特征值与特征向量。 通过标准化得到的新矩阵。根据(4-8)式来求的特征值及特征向量。 第二步：计算主成分的方差贡献率(数值上等于特征值的贡献率)，选择前面k个最大特征值对应的主特征向量构成n维状态空间中的k维特征子空间，使这k个主成分的累积贡献率达到85%以上，这时对应的k个向量仍保持原信号的足够多的信息。 第三步：根据公式(4-9)计算出所需要的故障特征主成分值，形成新的训练样本集和测试样本集。 5.4.4 支持向量机(SVM)的分类 如前所述，SVM最初是针对两分类问题提出的，在解决故障诊断等多类分类问题时，需要组合多个二类分类器来构造SVM多类分类器。本实验工业故障共有K个，(K取2，3，4)需要设计K(K-1)/2个两类分类器， 用于多故障分开。取径向基核函数，其中为训练输入，为核函数宽度。在MATLAB7.0环境下，设计SVM多类分类器，并使用3组新的训练样本对其进行训练，通过交叉验证得到相关参数值,。 5.4.5 仿真结果 实验4：运用PCA+SVM法对故障0和故障1进行二分类 实验5：运用PCA+SVM法对故障0、故障1和故障5进行三分类 实验6：运用PCA+SVM法对故障0、故障1、故障5和故障11进行四分类 实验的结果见表5-6和图5-12至图5-14。 表5-6 实验对照参数结果表 lab gam sig2 results 实验4 0.0767 1.0454 0.7241 实验5 2.1432 0.4402 0.4138 实验6 4.8578 0.1426 0.3190 图5-12 实验4结果图 图5-13 实验5结果图 图5-14 实验6结果图 5.5 实验结果对比分析 5.5.1 实验结果对比 实验1：运用SVM法对故障0和故障1进行二分类 实验2：运用SVM法对故障0、故障1和故障5进行三分类 实验3：运用SVM法对故障0、故障1、故障5和故障11进行四分类 实验4：运用PCA+SVM法对故障0和故障1进行二分类 实验5：运用PCA+SVM法对故障0、故障1和故障5进行三分类 实验6：运用PCA+SVM法对故障0、故障1、故障5和故障11进行四分类 实验的结果如表5-7。 表5-7 实验对照参数结果表 lab gam sig2 results 实验1 186.6728 9.3474 0.5000 实验2 0.2244 0.0484 0.3333 实验3 0.0489 0.6885 0.2417 实验4 0.0767 1.0454 0.7241 实验5 2.1432 0.4402 0.4138 实验6 4.8578 0.1426 0.3190 5.5.2 实验结果分析 本实验的结果可以从表5-5至表5-7看到。在这些图表中，对比了两类故障、三类故障、四类故障的情况，以及单独采用SVM和采用PCA+SVM的情况。通过分析，可以得到以下结果： 对比表5-7中两种方法中的二类分类，三类分类，四类分类实验结果可以看到，故障类别越多，实验的效果越差。主要表明： (1) 分类越多，数据之间的关系越复杂，需要构造的分类器越多，分类的精度受影响程度越大。 对比表5-7中单独采用支持向量机和采用PCA支持向量机结合方法的实验结果可以看到，单独采用支持向量机的效果明显差于采用PCA支持向量机结合方法的效果。主要表明： (2) 对输入向量进行特征提取，可在一定程度上克服故障诊断中特征提取难的问题; (3) 基于PCA特征提取的支持向量机诊断器，其精度高于支持向量机诊断器; (4) 由于实验数据的可辨性较低，导致分类效果不够理想。                               结    论 支持向量机理论作为一种基于统计学习理论的新的机器学习方法，较好地解决了小样本学习问题。和传统的机器学习方法相比，它具有理论完备、全局优化、适应性强、推广能力好等优点。因此，它具有良好的潜在应用价值和发展前景 [41] 。 本次课题的研究，利用了主元分析方法具有的数据压缩和特征提取的特点，以及支持向量机具有良好的学习能力和泛化能力，结合起来。提出了基于PCA支持向量机的复合型方法。通过对比支持向量机算法与基于PCA支持向量机算法的结合，一方面显示了通过主元分析方法预先提取特征的优点，支持向量机能够较准确的分类。另一方面显示了支持向量机算法的待改进程度和巨大的发展空间。归纳起来主要有： (1)对故障诊断而言，好的样本质量是正确诊断的前提。支持向量机对故障进行诊断时，无需对故障样本进行预处理。当所采集的故障样本质量不好时势必会对诊断结果造成大的影响； (2)针对传统支持向量机不能完成特征变换的预处理问题，利用PCA方法，提出了一种PCA支持向量机组合式分类算法，新的组合式支持向量机算法可以用于需要消除噪声情形的模式识别，问题表5-7表明了其有效性。 目前，对支持向量机的理论和应用研究都取得了许多成果，但在实际应用中还存在许多不尽人意之处。本课题改进了传统型的支持向量机，虽取得了一定的成果，但在以下几个方面仍需展开更深入的研究： (1)关于PCA降维过后的数据，还可以进行有效的特征提取加以优化，再进行支持向量机分类； (2)还有许多新的组合支持向量机方法有待尝试，比如KPCA支持向量机方法、ICA支持向量机方法，只有通过对比试验，才能解决优化目前的支持向量机算法； (3)研究更先进的模糊技术和支持向量机的集成方法。模糊技术是很有潜力的模式识别方法，如何把它们更紧密地结合，形成适应能力更强、分类性能更优的分类技术； (4)开拓支持向量机算法更多的应用领域，解决更多实际中的模式识别问题。 参考文献 [1] 程道来, 吴茜, 吕庭彦. 国内电站故障诊断的现状及发展方向[J]. 动力工程. 1999，19 (1): 53—57. [2] 何学文. 基于支持向量机的故障智能诊断理论与方法研究[D]. 中南：中南大学 [博士论文], 2005。 [3] 张正刚. 基于小波神经网络的故障诊断方法研究[D].黑龙江：大庆石油学院[硕士学位论文],2005，5－6 [4] 陆春月, 王俊元. 机械故障诊断的现状与发展趋势.机械管理开发，2004 (6)：85-86 [5] 张萍, 周东华. 动态系统的故障诊断方法.控制理论与应用，2000，17 (2)：153-158 [6] 王斌忠, 吴占松, 王民汉. 煤粉炉局部结渣的故障诊断模型.清华大学学报，1999，39 (12)：69-71. [7] 黄仁. 机械设备的故障诊断与工况监测．东南大学出版社，1996：32-45 [8] 屈梁生, 何正嘉. 机械故障诊断学．上海科学技术出版社，1996：37-127 [9] 高明. 水轮发电机组故障诊断系统设计及故障诊断技术研究[D].吉林：吉林大学[硕士论文],2005，2－5 [10] Worden, Lane A J. Damage identification using support vector machines [J]. Smart Material & Structure, 2001 (3):540-547. [11] 袁胜发,褚福磊.支持向量机及其在机械故障诊断中的应用[J]. 振动与冲击,2007,26(11):29-35 [12] Chu Y H, Qin S J, Han C H. Fault detection and operation mode identification based on pattern classification with variable selection [ J ]. Industrial & Engineering Chemistry Research. 2004, 43 (7): 1701—1710. [13] Chiang L H, Kotanchek M E, Kordon A K. Faul Diagnosis Based on Fisher Discriminant Analysis and Support Vector Machines [ J ]. Computers & Chemical Engineering. 2004, 28 (8) : 1389—1401. [14 ] Shin H J, Eom D H, Kim S S. One-class support vector machines an application in machine fault detection and classification [ J ]. Computers & Industrial Engineering. 2005, 48 (2) : 395—408. [15] Poyhonen S, Arkkio A, Jover P, Hyotyniemi H. Coup ling pairwise support vector machines for fault classification [ J ].Control Engineering Practice, 2005, 13 (6) : 759—769. [16] Ren Q M, Ma X J, Miao G. Application of support vector machines in reciprocating compressor valve fault diagnosis[J]. Advances in Natural Computation, PTZ, Proceedings Lecture Notes in Computer Science 2005, 3611: 81-84. [17] 肖健华, 樊可清, 吴今培. 应用于故障诊断的SVM理论研究[ J ]. 振动、测试与诊断. 2001, 21 (4) : 258—262. [18] 胡寿松, 王源. 基于支持向量机的非线性系统故障诊断[J].控制与决策, 2001,16 (5): 617-620. [19] 马笑潇. Machine Learning in Intelligent fault Diagnosis[D]:[学位论文]. 重庆 [20] 祝海龙. 统计学习理论的工程应用[D]:[学位论文]. 西安:西安交通大学,2002 [21] 张周琐, 李凌均, 何正嘉. 基于支持向量机的机械故障诊断方法研究[J]: 西安交通大学学报. 2002, 36 (6): 116-120 [22] 杨云, 朱家元, 张恒喜. 基于新型机器学习的电子装备系统智能故障诊断研究[ J ]. 计算机工程与应用, 2003, 22: 210—211, 232. [23 ] 李凌均, 张周锁, 何正嘉. 基于支持向量机的机械故障智能分类研究[ J ]. 小型微型计算机系统, 2004, 25 (4) :667—670. [24] 李凌均, 张周锁, 何正嘉. 基于支持向量数据描述的机械故障诊断研究[ J ]. 西安交通大学学报, 2003, 37 (9) :910—913. [25] 李凌均, 张周锁, 何正嘉. 支持向量机在机械故障诊断中的应用研究[ J ]. 计算机工程与应用, 2002, 19: 19—21. [26] 胡　桥, 何正嘉, 张周锁, 訾艳阳. 经验模式分解模糊特征提取的支持向量机混合诊断模型[ J ]. 西安交通大学学报, 2005, 39 (3) :290—294. [27] 段江涛, 李凌均, 张周锁, 何正嘉, 符寒光. 基于支持向量机的机械系统多故障分类方法[ J ]. 农业机械学报, 35 (4) : 144—147. [28] 张周琐. 基于支持向量机的多故障分类器及应用[J].机械科学与技术, 2004, 23 (5): 536-601. [29] 王胜春, 韩捷, 李农志, 李剑峰. 基于模糊域和支持向量机的故障诊断方法[J]. 山东大学学报(工学版). 2006, 36 (6): 116-120 [30] 贾嵘, 王小宇, 蔡振华, 张丽, 罗兴琦. 最小二乘支持向量机回归的HHT在水转发电机组故障诊断中的应用[J]. 中国电机工程学报. 2006. 26 (22): 128-133 [31] 谢芳芳. 基于支持向量机的故障诊断方法[D]. 湖南: 湖南大学 [硕士论文], 2006,4 [32] 陈爱军. The study of Least Squares Support Vector Machine and Its application in Industrial Process Modeling [D]. 浙江: 浙江大学.[博士论文]. 2007, 2-6 [33] J.C.Burges. A Tutorial on Support Vector Machines for Pattern Recognition.[M] Bell Laboratories, Lucent Technologies. 1997. [34] L.H. Chiang, E.L. Russell and R.D. Braatz Fault Detection and Diagnosis in Industrial Systems [M]. London: Springer 2001 [35] 边肇祺, 张学工. 模式识别[M]. 北京: 清华大学出版社 2000 [36] Hsu C.W, Lin C.J. A comparison of methods for multi-class support vector machines [J]. IEEE Transactions on Neural Networks. 2002 (13): 415-425 [37] Richard J.Larsen, Morris L.Marx. An Introduction to Mathematical Statistics and Its Applications, [J] Third Edition, p282 [38] Seongkyu Yoon, MacGregor JF. Statistical and causal model based approaches to fault detection and isolation [J]. AlChEJ, 2000, 46 (9):1 813-1 824 [39] Leo H. Chiang, Evan L. Russell, Richard D. Braatz. Fault diagnosis in chemical processes using Fisher discriminate analysis, discriminate partial least squares, and principal component analysis [J]. Chemo metrics and intelligent laboratory systems, 2000, (50):243-252 [40] 李尔国，俞金寿. PCA在过程故障检测与诊断中的应用[J]华东理工大学学报 2001,27 (5):572-576 [41] 张国云. 支持向量机算法及其应用研究[D].湖南：湖南大学[博士论文],2006，85-86 [42] Ming Ge, R. Du, Guicai Zhang, Yangsheng Xu. Fault diagnosis using support vector machine with an application in sheet metal stamping operations [J] Mechanical Systems and Signal Processing 2004 (18):143-159 [43] 蔡自兴. 人工智能[M].北京:清华大学出版社,2000 [44] Zhao Rongzhen, Zhang  Youyuan. Study to Advance Diagnosis Intelligence Based on Data Mining and Machine Learning.[J] Journal of Vibration Engineering 2004 (17).264 [20] 祝海龙. 统计学习理论的工程应用[D]:[学位论文]. 西安:西安交通大学,2002 [21] 张周琐, 李凌均, 何正嘉. 基于支持向量机的机械故障诊断方法研究[J]: 西安交通大学学报. 2002, 36 (6): 116-120 [22] 杨云, 朱家元, 张恒喜. 基于新型机器学习的电子装备系统智能故障诊断研究[ J ]. 计算机工程与应用, 2003, 22: 210—211, 232. [23 ] 李凌均, 张周锁, 何正嘉. 基于支持向量机的机械故障智能分类研究[ J ]. 小型微型计算机系统, 2004, 25 (4) :667—670. [24] 李凌均, 张周锁, 何正嘉. 基于支持向量数据描述的机械故障诊断研究[ J ]. 西安交通大学学报, 2003, 37 (9) :910—913. [25] 李凌均, 张周锁, 何正嘉. 支持向量机在机械故障诊断中的应用研究[ J ]. 计算机工程与应用, 2002, 19: 19—21. [26] 胡　桥, 何正嘉, 张周锁, 訾艳阳. 经验模式分解模糊特征提取的支持向量机混合诊断模型[ J ]. 西安交通大学学报, 2005, 39 (3) :290—294. [27] 段江涛, 李凌均, 张周锁, 何正嘉, 符寒光. 基于支持向量机的机械系统多故障分类方法[ J ]. 农业机械学报, 35 (4) : 144—147. [28] 张周琐. 基于支持向量机的多故障分类器及应用[J].机械科学与技术, 2004, 23 (5): 536-601. [29] 王胜春, 韩捷, 李农志, 李剑峰. 基于模糊域和支持向量机的故障诊断方法[J]. 山东大学学报(工学版). 2006, 36 (6): 116-120 [30] 贾嵘, 王小宇, 蔡振华, 张丽, 罗兴琦. 最小二乘支持向量机回归的HHT在水转发电机组故障诊断中的应用[J]. 中国电机工程学报. 2006. 26 (22): 128-133 [31] 谢芳芳. 基于支持向量机的故障诊断方法[D]. 湖南: 湖南大学 [硕士论文], 2006,4 [32] 陈爱军. The study of Least Squares Support Vector Machine and Its application in Industrial Process Modeling [D]. 浙江: 浙江大学.[博士论文]. 2007, 2-6 [33] J.C.Burges. A Tutorial on Support Vector Machines for Pattern Recognition.[M] Bell Laboratories, Lucent Technologies. 1997. [34] L.H. Chiang, E.L. Russell and R.D. Braatz Fault Detection and Diagnosis in Industrial Systems [M]. London: Springer 2001 [35] 边肇祺, 张学工. 模式识别[M]. 北京: 清华大学出版社 2000 [36] Hsu C.W, Lin C.J. A comparison of methods for multi-class support vector machines [J]. IEEE Transactions on Neural Networks. 2002 (13): 415-425 [37] Richard J.Larsen, Morris L.Marx. An Introduction to Mathematical Statistics and Its Applications, [J] Third Edition, p282 [38] Seongkyu Yoon, MacGregor JF. Statistical and causal model based approaches to fault detection and isolation [J]. AlChEJ, 2000, 46 (9):1 813-1 824 [39] Leo H. Chiang, Evan L. Russell, Richard D. Braatz. Fault diagnosis in chemical processes using Fisher discriminate analysis, discriminate partial least squares, and principal component analysis [J]. Chemo metrics and intelligent laboratory systems, 2000, (50):243-252 [40] 李尔国，俞金寿. PCA在过程故障检测与诊断中的应用[J]华东理工大学学报 2001,27 (5):572-576 [41] 张国云. 支持向量机算法及其应用研究[D].湖南：湖南大学[博士论文],2006，85-86 [42] Ming Ge, R. Du, Guicai Zhang, Yangsheng Xu. Fault diagnosis using support vector machine with an application in sheet metal stamping operations [J] Mechanical Systems and Signal Processing 2004 (18):143-159 [43] 蔡自兴. 人工智能[M].北京:清华大学出版社,2000 [44] Zhao Rongzhen, Zhang  Youyuan. Study to Advance Diagnosis Intelligence Based on Data Mining and Machine Learning.[J] Journal of Vibration Engineering 2004 (17).264